Partición de sumas de cuadrados

La partición de las sumas de cuadrados es un concepto que permea gran parte de la estadística inferencial y la estadística descriptiva . Más propiamente, es la partición de las sumas de las desviaciones al cuadrado o los errores . Matemáticamente, la suma de las desviaciones al cuadrado es una medida no ajustada o no escalada de dispersión (también llamada variabilidad ). Cuando se escala para el número de grados de libertad , estima la varianza o dispersión de las observaciones sobre su valor medio. La partición de la suma de las desviaciones al cuadrado en varios componentes permite atribuir la variabilidad general de un conjunto de datos a diferentes tipos o fuentes de variabilidad, y la importancia relativa de cada uno se cuantifica por el tamaño de cada componente de la suma general de cuadrados.

La distancia desde cualquier punto de una colección de datos hasta la media de los datos es la desviación. Esto se puede escribir como , donde es el i-ésimo punto de datos y es la estimación de la media. Si se elevan al cuadrado todas esas desviaciones y luego se suman, como en , se obtiene la "suma de cuadrados" de estos datos. ${\displaystyle y_{i}-{\overline {y}}}$${\displaystyle y_{i}}$${\displaystyle {\overline {y}}}$${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\overline {y}}\,\right)^{2}}$

Cuando se añaden más datos a la colección, la suma de los cuadrados aumenta, excepto en casos improbables, como que los nuevos datos sean iguales a la media. Por lo general, la suma de los cuadrados aumenta con el tamaño de la colección de datos. Esto es una manifestación del hecho de que no está escalada.

En muchos casos, la cantidad de grados de libertad es simplemente la cantidad de puntos de datos en la colección menos uno. Escribimos esto como n  − 1, donde n es la cantidad de puntos de datos.

Escalar (también conocido como normalizar) significa ajustar la suma de cuadrados para que no crezca a medida que crece el tamaño de la colección de datos. Esto es importante cuando queremos comparar muestras de diferentes tamaños, como una muestra de 100 personas en comparación con una muestra de 20 personas. Si la suma de cuadrados no estuviera normalizada, su valor siempre sería mayor para la muestra de 100 personas que para la muestra de 20 personas. Para escalar la suma de cuadrados, la dividimos por los grados de libertad, es decir, calculamos la suma de cuadrados por grado de libertad, o varianza. La desviación estándar , a su vez, es la raíz cuadrada de la varianza.

Lo anterior describe cómo se utiliza la suma de cuadrados en las estadísticas descriptivas; consulte el artículo sobre la suma total de cuadrados para una aplicación de este principio amplio a las estadísticas inferenciales .

Teorema. Dado un modelo de regresión lineal que incluye una constante , basado en una muestra que contiene n observaciones, la suma total de cuadrados se puede dividir de la siguiente manera en la suma explicada de cuadrados (ESS) y la suma residual de cuadrados (RSS): ${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}}$ ${\displaystyle \beta _{0}}$${\displaystyle (y_{i},x_{i1},\ldots ,x_{ip}),\,i=1,\ldots ,n}$${\displaystyle \mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}$

${\displaystyle \mathrm {TSS} =\mathrm {ESS} +\mathrm {RSS} ,}$

donde esta ecuación es equivalente a cada una de las siguientes formas:

${\displaystyle {\begin{aligned}\left\|y-{\bar {y}}\mathbf {1} \right\|^{2}&=\left\|{\hat {y}}-{\bar {y}}\mathbf {1} \right\|^{2}+\left\|{\hat {\varepsilon }}\right\|^{2},\quad \mathbf {1} =(1,1,\ldots ,1)^{T},\\\suma _{i=1}^{n}(y_{i}-{\bar {y}})^{2}&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2},\\\suma _{i=1}^{n}(y_{i}-{\bar {y}})^{2}&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2},\\\end{aligned}}}$

donde es el valor estimado por la línea de regresión que tiene , , ..., como coeficientes estimados . ^[1]${\displaystyle {\sombrero {y}}_{i}}$${\displaystyle {\hat {b}}_{0}}$${\displaystyle {\hat {b}}_{1}}$${\displaystyle {\hat {b}}_{p}}$

${\displaystyle {\begin{aligned}\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}&=\sum _{i=1}^{n}(y_{i}-{\overline {y}}+{\hat {y}}_{i}-{\hat {y}}_{i})^{2}=\sum _{i=1}^{n}(({\hat {y}}_{i}-{\bar {y}})+\underbrace {(y_{i}-{\hat {y}}_{i})} _{{\hat {\varepsilon }}_{i}})^{2}\\&=\sum _{i=1}^{n}(({\hat {y}}_{i}-{\bar {y}})^{2}+2{\hat {\varepsilon }}_{i}({\hat {y}}_{i}-{\bar {y}})+{\hat {\varepsilon }}_{i}^{2})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}({\hat {y}}_{i}-{\bar {y}})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}({\hat {\beta }}_{0}+{\hat {\beta }}_{1}x_{i1}+\cdots +{\hat {\beta }}_{p}x_{ip}-{\overline {y}})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2({\hat {\beta }}_{0}-{\overline {y}})\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}} _{0}+2{\hat {\beta }}_{1}\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}x_{i1}} _{0}+\cdots +2{\hat {\beta }}_{p}\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}x_{ip}} _{0}\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}=\mathrm {ESS} +\mathrm {RSS} \\\end{aligned}}}$

El requisito de que el modelo incluya una constante o, equivalentemente, que la matriz de diseño contenga una columna de unos garantiza que , es decir . ${\displaystyle \sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0}$${\displaystyle {\hat {\varepsilon }}^{T}\mathbf {1} =0}$

La prueba también puede expresarse en forma vectorial, de la siguiente manera:

${\displaystyle {\begin{aligned}SS_{\text{total}}=\Vert \mathbf {y} -{\bar {y}}\mathbf {1} \Vert ^{2}&=\Vert \mathbf {y} -{\bar {y}}\mathbf {1} +\mathbf {\hat {y}} -\mathbf {\hat {y}} \Vert ^{2},\\&=\Vert \left(\mathbf {\hat {y}} -{\bar {y}}\mathbf {1} \right)+\left(\mathbf {y} -\mathbf {\hat {y}} \right)\Vert ^{2},\\&=\Vert {\mathbf {\hat {y}} -{\bar {y}}\mathbf {1} }\Vert ^{2}+\Vert {\hat {\varepsilon }}\Vert ^{2}+2{\hat {\varepsilon }}^{T}\left(\mathbf {\hat {y}} -{\bar {y}}\mathbf {1} \right),\\&=SS_{\text{regression}}+SS_{\text{error}}+2{\hat {\varepsilon }}^{T}\left(X{\hat {\beta }}-{\bar {y}}\mathbf {1} \right),\\&=SS_{\text{regression}}+SS_{\text{error}}+2\left({\hat {\varepsilon }}^{T}X\right){\hat {\beta }}-2{\bar {y}}\underbrace {{\hat {\varepsilon }}^{T}\mathbf {1} } _{0},\\&=SS_{\text{regression}}+SS_{\text{error}}.\end{aligned}}}$

La eliminación de términos en la última línea, aprovechó el hecho de que

${\displaystyle {\hat {\varepsilon }}^{T}X=\left(\mathbf {y} -\mathbf {\hat {y}} \right)^{T}X=\mathbf {y} ^{T}(I-X(X^{T}X)^{-1}X^{T})^{T}X={\mathbf {y} }^{T}(X^{T}-X^{T})^{T}={\mathbf {0} }.}$

Tenga en cuenta que la suma residual de cuadrados se puede dividir aún más como la suma de cuadrados por falta de ajuste más la suma de cuadrados debido al error puro.

• Espacio del producto interno
  • Espacio de Hilbert
    • Espacio euclidiano
• Cuadrados medios esperados
  • Ortogonalidad
  • Base ortonormal
    • Complemento ortogonal , el subespacio cerrado ortogonal a un conjunto (especialmente un subespacio)
    • Red ortomodular de los subespacios de un espacio de producto interno
    • Proyección ortogonal
  • Teorema de Pitágoras que establece que la suma de las normas al cuadrado de los sumandos ortogonales es igual a la norma al cuadrado de la suma.
• Mínimos cuadrados
• Error cuadrático medio
• Desviaciones al cuadrado

• Bailey, RA (2008). Diseño de experimentos comparativos. Cambridge University Press. ISBN 978-0-521-68357-9.Los capítulos previos a su publicación están disponibles en línea.
• Christensen, Ronald (2002). Respuestas planas a preguntas complejas: la teoría de modelos lineales (tercera edición). Nueva York: Springer. ISBN 0-387-95361-2.
• Whittle, Peter (1963). Predicción y regulación . English Universities Press. ISBN 0-8166-1147-5.

  Republicado como: Whittle, P. (1983). Predicción y regulación mediante métodos de mínimos cuadrados lineales . University of Minnesota Press. ISBN 0-8166-1148-3.

• Whittle, P. (20 de abril de 2000). Probabilidad por medio de la expectativa (4.ª ed.). Springer. ISBN 0-387-98955-2.