Matriz de proyección

En estadística , la matriz de proyección${\displaystyle (\mathbf {P} )}$, ^{[ 1 ]} a veces también llamada matriz de influencia ^{[ 2 ]} o matriz de sombrero${\displaystyle (\mathbf {H} )}$, mapea el vector de valores de respuesta (valores de la variable dependiente) al vector de valores ajustados (o valores predichos). Describe la influencia que cada valor de respuesta tiene sobre cada valor ajustado. ^{[ 3 ] [ 4 ]} Los elementos diagonales de la matriz de proyección son los apalancamientos , que describen la influencia que cada valor de respuesta tiene sobre el valor ajustado para esa misma observación.

Si el vector de valores de respuesta se denota por${\displaystyle \mathbf {y} }$y el vector de valores ajustados por${\displaystyle \mathbf {\hat {y}} }$,

${\displaystyle \mathbf {\hat {y}} =\mathbf {P} \mathbf {y} .}$

Como${\displaystyle \mathbf {\hat {y}} }$Se suele pronunciar "y-hat", la matriz de proyección${\displaystyle \mathbf {P} }$También se le llama matriz de sombrero porque "le pone un sombrero " .${\displaystyle \mathbf {y} }$".

La fórmula para el vector de residuos${\displaystyle \mathbf {r} }$También se puede expresar de forma compacta utilizando la matriz de proyección:

${\displaystyle \mathbf {r} =\mathbf {y} -\mathbf {\hat {y}} =\mathbf {y} -\mathbf {P} \mathbf {y} =\left(\mathbf {I} -\mathbf {P} \right)\mathbf {y} .}$

dónde${\displaystyle \mathbf {I} }$es la matriz identidad . La matriz${\displaystyle \mathbf {M}$ :=\mathbf {I} -\mathbf {P} } a veces se denomina matriz de creación residual o matriz aniquiladora .

La matriz de covarianza de los residuos${\displaystyle \mathbf {r} }$, por propagación de errores , es igual a

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)^{\textsf {T}}\mathbf {\Sigma } \left(\mathbf {I} -\mathbf {P} \right)}$,

dónde${\displaystyle \mathbf {\Sigma } }$es la matriz de covarianza del vector de error (y por extensión, también del vector de respuesta). Para el caso de modelos lineales con errores independientes e idénticamente distribuidos en los que${\displaystyle \mathbf {\Sigma } =\sigma ^{2}\mathbf {I} }$, esto se reduce a: ^{[ 3 ]}

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)\sigma ^{2}}$.

De la figura, queda claro que el punto más cercano al vector${\displaystyle \mathbf {b} }$en el espacio de columna de${\displaystyle \mathbf {A} }$, es${\displaystyle \mathbf {Ax} }$y es uno donde podemos trazar una línea ortogonal al espacio columna de${\displaystyle \mathbf {A} }$Un vector que es ortogonal al espacio columna de una matriz está en el espacio nulo de la transpuesta de la matriz, por lo que

${\displaystyle \mathbf {A} ^{\textsf {T}}(\mathbf {b} -\mathbf {Ax} )=0}$.

A partir de ahí, uno reorganiza, así que

${\displaystyle {\begin{aligned}&&\mathbf {A} ^{\textsf {T}}\mathbf {b} &-\mathbf {A} ^{\textsf {T}}\mathbf {Ax} =0\\\Rightarrow &&\mathbf {A} ^{\textsf {T}}\mathbf {b} &=\mathbf {A} ^{\textsf {T}}\mathbf {Ax} \\\Rightarrow &&\mathbf {x} &=\left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}\mathbf {b} \end{aligned}}}$.

Por lo tanto, dado que${\displaystyle \mathbf {Ax} }$está en el espacio de columna de${\displaystyle \mathbf {A} }$, la matriz de proyección, que mapea${\displaystyle \mathbf {b} }$sobre${\displaystyle \mathbf {A} \mathbf {x} }$, es${\displaystyle \mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}}$.

Supongamos que deseamos estimar un modelo lineal utilizando mínimos cuadrados lineales. El modelo se puede escribir como

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},}$

dónde${\displaystyle \mathbf {X} }$es una matriz de variables explicativas (la matriz de diseño ), β es un vector de parámetros desconocidos que se deben estimar y ε es el vector de error.

Muchos tipos de modelos y técnicas están sujetos a esta formulación. Algunos ejemplos son los mínimos cuadrados lineales , las splines de suavizado , las splines de regresión , la regresión local , la regresión de núcleo y el filtrado lineal .

La matriz de proyección tiene varias propiedades algebraicas útiles. ^{[ 5 ] [ 6 ]} En el lenguaje del álgebra lineal , la matriz de proyección es la proyección ortogonal sobre el espacio columna de la matriz de diseño.${\displaystyle \mathbf {X} }$. ^{[ 4 ]} (Tenga en cuenta que${\displaystyle \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}$es la pseudoinversa de X. ) Algunos hechos de la matriz de proyección en este contexto se resumen de la siguiente manera: ^{[ 4 ]}

• ${\displaystyle \mathbf {u} =(\mathbf {I} -\mathbf {P} )\mathbf {y} ,}$y${\displaystyle \mathbf {u} =\mathbf {y} -\mathbf {P} \mathbf {y} \perp \mathbf {X} .}$
• ${\displaystyle \mathbf {P} }$es simétrico, y también lo es${\displaystyle \mathbf {M}$ :=\mathbf {I} -\mathbf {P} } .
• ${\displaystyle \mathbf {P} }$es idempotente:${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$y también lo es${\displaystyle \mathbf {M} }$.
• Si${\displaystyle \mathbf {X} }$es una matriz n × r con${\displaystyle \operatorname {rank} (\mathbf {X} )=r}$, entonces${\displaystyle \operatorname {rank} (\mathbf {P} )=r}$
• Los valores propios de${\displaystyle \mathbf {P} }$constan de r unos y n − r ceros, mientras que los valores propios de${\displaystyle \mathbf {M} }$consta de n − r unos y r ceros. ^{[ 7 ]}
• ${\displaystyle \mathbf {X} }$es invariante bajo${\displaystyle \mathbf {P} }$ :${\displaystyle \mathbf {PX} =\mathbf {X} ,}$por eso${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {X} =\mathbf {0} }$.
• ${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {P} =\mathbf {P} \left(\mathbf {I} -\mathbf {P} \right)=\mathbf {0} .}$
• ${\displaystyle \mathbf {P} }$es único para ciertos subespacios.

La matriz de proyección correspondiente a un modelo lineal es simétrica e idempotente , es decir,${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$Sin embargo, esto no siempre es así; en el suavizado de diagramas de dispersión ponderados localmente (LOESS) , por ejemplo, la matriz de proyección no es, en general, ni simétrica ni idempotente.

Para los modelos lineales , la traza de la matriz de proyección es igual al rango de${\displaystyle \mathbf {X} }$, que es el número de parámetros independientes del modelo lineal. ^{[ 8 ]} Para otros modelos como LOESS que siguen siendo lineales en las observaciones${\displaystyle \mathbf {y} }$La matriz de proyección se puede utilizar para definir los grados de libertad efectivos del modelo.

Las aplicaciones prácticas de la matriz de proyección en el análisis de regresión incluyen el apalancamiento y la distancia de Cook , que se ocupan de identificar observaciones influyentes , es decir, observaciones que tienen un gran efecto en los resultados de una regresión.

Supongamos que la matriz de diseño${\displaystyle \mathbf {X} }$puede descomponerse por columnas como${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}}$. Defina el operador de proyección o de sombrero como${\displaystyle \mathbf {P} [\mathbf {X} ]:=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}$. De manera similar, definimos el operador residual como${\displaystyle \mathbf {M} [\mathbf {X} ]:=\mathbf {I} -\mathbf {P} [\mathbf {X} ]}$. Entonces la matriz de proyección se puede descomponer de la siguiente manera: ^{[ 9 ]}

${\displaystyle \mathbf {P} [\mathbf {X} ]=\mathbf {P} [\mathbf {A} ]+\mathbf {P} {\big [}\mathbf {M} [\mathbf {A} ]\mathbf {B} {\big ]},}$

donde, por ejemplo,${\displaystyle \mathbf {P} [\mathbf {A} ]=\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}}$y${\displaystyle \mathbf {M} [\mathbf {A} ]=\mathbf {I} -\mathbf {P} [\mathbf {A} ]}$Existen diversas aplicaciones de dicha descomposición. En la aplicación clásica${\displaystyle \mathbf {A} }$es una columna de todos unos, lo que permite analizar los efectos de agregar un término de intersección a una regresión. Otro uso es en el modelo de efectos fijos , donde${\displaystyle \mathbf {A} }$es una matriz dispersa grande de las variables ficticias para los términos de efectos fijos. Se puede usar esta partición para calcular la matriz de sombrero de${\displaystyle \mathbf {X} }$sin formar explícitamente la matriz${\displaystyle \mathbf {X} }$, que podría ser demasiado grande para caber en la memoria del ordenador.

La matriz sombrero fue introducida por John Wilder en 1972. Un artículo de Hoaglin, DC y Welsch, RE (1978) describe las propiedades de la matriz y también muchos ejemplos de su aplicación.

• residuos estudentizados
• grados de libertad efectivos
• Respuesta media y prevista