Apalancamiento (estadística)

En estadística , y en particular en el análisis de regresión , el apalancamiento es una medida de cuán alejados están los valores de la variable independiente de una observación de los de las demás observaciones. Los puntos de alto apalancamiento , si los hay, son valores atípicos con respecto a las variables independientes . Es decir, los puntos de alto apalancamiento no tienen puntos vecinos en${\displaystyle \mathbb {R} ^{p}}$espacio, donde${\displaystyle {p}}$es el número de variables independientes en un modelo de regresión. Esto hace que el modelo ajustado sea propenso a pasar cerca de una observación de alto apalancamiento. ^{[ 1 ]} Por lo tanto, los puntos de alto apalancamiento tienen el potencial de causar grandes cambios en las estimaciones de los parámetros cuando se eliminan, es decir, de ser puntos influyentes . Aunque un punto influyente normalmente tendrá un alto apalancamiento, un punto de alto apalancamiento no es necesariamente un punto influyente. El apalancamiento se define típicamente como los elementos diagonales de la matriz de sombrero . ^{[ 2 ]}

Consideremos el modelo de regresión lineal.${\displaystyle {y}_{i}={\boldsymbol {x}}_{i}^{\top }{\boldsymbol {\beta }}+{\varepsilon }_{i}}$,${\displaystyle i=1,\,2,\ldots ,\,n}$. Eso es,${\displaystyle {\boldsymbol {y}}=\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$, dónde,${\displaystyle \mathbf {X} }$es el${\displaystyle n\times p}$matriz de diseño cuyas filas corresponden a las observaciones y cuyas columnas corresponden a las variables independientes o explicativas. La puntuación de apalancamiento para la${\displaystyle {i}^{th}}$observación independiente${\displaystyle {\boldsymbol {x}}_{i}}$se da como:

${\displaystyle h_{ii}=\left[\mathbf {H} \right]_{ii}={\boldsymbol {x}}_{i}^{\top }\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}{\boldsymbol {x}}_{i}}$, el${\displaystyle {i}^{th}}$elemento diagonal de la matriz de ortoproyección ( también conocida como matriz sombrero)${\displaystyle \mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}$.

Por lo tanto, el${\displaystyle {i}^{th}}$La puntuación de apalancamiento puede verse como la distancia 'ponderada' entre ${\displaystyle {\boldsymbol {x}}_{i}}$a la media de ${\displaystyle {\boldsymbol {x}}_{i}}$de (véase su relación con la distancia de Mahalanobis ). También puede interpretarse como el grado en que la${\displaystyle {i}^{th}}$valor medido (dependiente) (es decir, ${\displaystyle y_{i}}$) influye en el${\displaystyle {i}^{th}}$valor ajustado (predicho) (es decir,${\displaystyle {\widehat {y\,}}_{i}}$): matemáticamente,

${\displaystyle h_{ii}={\frac {\partial {\widehat {y\,}}_{i}}{\partial y_{i}}}}$.

Por lo tanto, la puntuación de apalancamiento también se conoce como auto-sensibilidad de observación o auto-influencia. ^{[ 3 ]} Utilizando el hecho de que${\displaystyle {\boldsymbol {\widehat {y}}}={\mathbf {H} }{\boldsymbol {y}}}$(es decir, la predicción)${\displaystyle {\boldsymbol {\widehat {y}}}}$es la orto-proyección de${\displaystyle {\boldsymbol {y}}}$en el espacio de rango de${\displaystyle \mathbf {X} }$) en la expresión anterior, obtenemos${\displaystyle h_{ii}=\left[\mathbf {H} \right]_{ii}}$Tenga en cuenta que este apalancamiento depende de los valores de las variables explicativas.${\displaystyle (\mathbf {X} )}$de todas las observaciones pero no en ninguno de los valores de las variables dependientes${\displaystyle (y_{i})}$.

1. El apalancamiento  ${\displaystyle h_{ii}}$es un número entre 0 y 1,${\displaystyle 0\leq h_{ii}\leq 1.}$Prueba: Tenga en cuenta que${\displaystyle \mathbf {H} }$es una matriz idempotente (${\displaystyle \mathbf {H} ^{2}=\mathbf {H} }$) y simétrico (${\displaystyle h_{ij}=h_{ji}}$). Por lo tanto, utilizando el hecho de que${\displaystyle \left[\mathbf {H} ^{2}\right]_{ii}=\left[\mathbf {H} \right]_{ii}}$, tenemos${\displaystyle h_{ii}=h_{ii}^{2}+\sum _{j\neq i}h_{ij}^{2}}$. Puesto que sabemos que${\displaystyle \sum _{j\neq i}h_{ij}^{2}\geq 0}$, tenemos${\displaystyle h_{ii}\geq h_{ii}^{2}\implies 0\leq h_{ii}\leq 1}$.
2. La suma de los apalancamientos es igual al número de parámetros.${\displaystyle (p)}$en${\displaystyle {\boldsymbol {\beta }}}$(incluyendo la intersección). Prueba:${\displaystyle \sum _{i=1}^{n}h_{ii}=\operatorname {Tr} (\mathbf {H} )=\operatorname {Tr} \left(\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\right)=\operatorname {Tr} \left(\mathbf {X} ^{\top }\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\right)=\operatorname {Tr} (\mathbf {I} _{p})=p}$,

dónde${\displaystyle \operatorname {Tr} }$es el operador de traza .

Gran apalancamiento${\displaystyle {h_{ii}}}$corresponde a un${\displaystyle {{\boldsymbol {x}}_{i}}}$Eso es extremo. Una regla común es identificar${\displaystyle {{\boldsymbol {x}}_{i}}}$cuyo valor de apalancamiento${\displaystyle {h}_{ii}}$es más de 2 veces mayor que el apalancamiento medio${\displaystyle {\bar {h}}={\dfrac {1}{n}}\sum _{i=1}^{n}h_{ii}={\dfrac {p}{n}}}$(véase la propiedad 2 anterior). Es decir, si${\displaystyle h_{ii}>2{\dfrac {p}{n}}}$,${\displaystyle {{\boldsymbol {x}}_{i}}}$se considerará un valor atípico. Algunos estadísticos prefieren el umbral de ${\displaystyle 3p/{n}}$en lugar de${\displaystyle 2p/{n}}$.

El apalancamiento está estrechamente relacionado con la distancia de Mahalanobis (prueba ^{[ 4 ]} ). Específicamente, para algunos${\displaystyle n\times p}$matriz${\displaystyle \mathbf {X} }$, la distancia de Mahalanobis al cuadrado de${\displaystyle {{\boldsymbol {x}}_{i}}}$(dónde${\displaystyle {\boldsymbol {x}}_{i}^{\top }}$es ${\displaystyle {i}^{th}}$fila de ${\displaystyle \mathbf {X} }$) del vector de media${\displaystyle {\widehat {\boldsymbol {\mu }}}=\sum _{i=1}^{n}{\boldsymbol {x}}_{i}}$de longitud${\displaystyle p}$, es${\displaystyle D^{2}({\boldsymbol {x}}_{i})=({\boldsymbol {x}}_{i}-{\widehat {\boldsymbol {\mu }}})^{\top }\mathbf {S} ^{-1}({\boldsymbol {x}}_{i}-{\widehat {\boldsymbol {\mu }}})}$, dónde${\displaystyle \mathbf {S} =\mathbf {X} ^{\top }\mathbf {X} }$es la matriz de covarianza estimada de ${\displaystyle {{\boldsymbol {x}}_{i}}}$Esto está relacionado con el apalancamiento.${\displaystyle h_{ii}}$de la matriz de sombreros de${\displaystyle \mathbf {X} }$después de agregarle un vector columna de 1. La relación entre ambos es:

${\displaystyle D^{2}({\boldsymbol {x}}_{i})=(n-1)(h_{ii}-{\tfrac {1}{n}})}$

Esta relación nos permite descomponer el apalancamiento en componentes significativos para que algunas fuentes de alto apalancamiento puedan investigarse analíticamente. ^{[ 5 ]}

En un contexto de regresión, combinamos funciones de apalancamiento e influencia para calcular el grado en que los coeficientes estimados cambiarían si elimináramos un solo punto de datos. Denotando los residuos de la regresión como${\displaystyle {\widehat {e}}_{i}=y_{i}-{\boldsymbol {x}}_{i}^{\top }{\widehat {\boldsymbol {\beta }}}}$, se puede comparar el coeficiente estimado${\displaystyle {\widehat {\boldsymbol {\beta }}}}$al coeficiente estimado de exclusión de uno${\displaystyle {\widehat {\boldsymbol {\beta }}}^{(-i)}}$utilizando la fórmula ^{[ 6 ] [ 7 ]}

${\displaystyle {\widehat {\boldsymbol {\beta }}}-{\widehat {\boldsymbol {\beta }}}^{(-i)}={\frac {(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}{\widehat {e}}_{i}}{1-h_{ii}}}}$

Young (2019) utiliza una versión de esta fórmula después de residualizar los controles. ^{[ 8 ]} Para comprender intuitivamente esta fórmula, tenga en cuenta que${\displaystyle {\frac {\partial {\hat {\beta }}}{\partial y_{i}}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}}$captura el potencial de que una observación afecte los parámetros de regresión y, por lo tanto,${\displaystyle (\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {x}}_{i}{\widehat {e}}_{i}}$captura la influencia real de las desviaciones de esas observaciones con respecto a su valor ajustado en los parámetros de regresión. La fórmula luego divide por${\displaystyle (1-h_{ii})}$Para tener en cuenta que eliminamos la observación en lugar de ajustar su valor, lo que refleja que la eliminación altera más la distribución de las covariables cuando se aplica a observaciones con alto apalancamiento (es decir, con valores atípicos de las covariables). Fórmulas similares surgen al aplicar fórmulas generales para funciones de influencia estadística en el contexto de la regresión. ^{[ 9 ] [ 10 ]}

Si nos encontramos en un entorno de mínimos cuadrados ordinarios con fijo${\displaystyle \mathbf {X} }$y errores de regresión homocedástica${\displaystyle \varepsilon _{i},}$${\displaystyle {\boldsymbol {y}}=\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }};\ \ \operatorname {Var} ({\boldsymbol {\varepsilon }})=\sigma ^{2}\mathbf {I} }$, entonces el${\displaystyle {i}^{th}}$residuo de regresión ,${\displaystyle e_{i}=y_{i}-{\widehat {y}}_{i}}$tiene varianza

${\displaystyle \operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}}$.

En otras palabras, la puntuación de apalancamiento de una observación determina el grado de ruido en la predicción errónea del modelo de esa observación, y un mayor apalancamiento conlleva menos ruido. Esto se deriva del hecho de que${\displaystyle \mathbf {I} -\mathbf {H} }$es idempotente y simétrico y${\displaystyle {\widehat {\boldsymbol {y}}}=\mathbf {H} {\boldsymbol {y}}}$, por eso,${\displaystyle \operatorname {Var} ({\boldsymbol {e}})=\operatorname {Var} ((\mathbf {I} -\mathbf {H} ){\boldsymbol {y}})=(\mathbf {I} -\mathbf {H} )\operatorname {Var} ({\boldsymbol {y}})(\mathbf {I} -\mathbf {H} )^{\top }=\sigma ^{2}(\mathbf {I} -\mathbf {H} )^{2}=\sigma ^{2}(\mathbf {I} -\mathbf {H} )}$.

El residuo estudentizado correspondiente —el residuo ajustado por su varianza residual estimada específica de la observación— es entonces

${\displaystyle t_{i}={e_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}$

dónde${\displaystyle {\widehat {\sigma }}}$es una estimación apropiada de${\displaystyle \sigma }$.

El apalancamiento parcial ( PL ) es una medida de la contribución de las variables independientes individuales al apalancamiento total de cada observación. Es decir, PL es una medida de cómo${\displaystyle h_{ii}}$cambia a medida que se agrega una variable al modelo de regresión. Se calcula de la siguiente manera:

${\displaystyle \left(\mathrm {PL} _{j}\right)_{i}={\frac {\left(\mathbf {X} _{j\bullet [j]}\right)_{i}^{2}}{\sum _{k=1}^{n}\left(\mathbf {X} _{j\bullet [j]}\right)_{k}^{2}}}}$

dónde${\displaystyle j}$es el índice de la variable independiente,${\displaystyle i}$es el índice de observación y${\displaystyle \mathbf {X} _{j\bullet [j]}}$son los residuos de la regresión${\displaystyle \mathbf {X} _{j}}$frente a las variables independientes restantes. Tenga en cuenta que el apalancamiento parcial es el apalancamiento de la${\displaystyle {i}^{th}}$punto en el gráfico de regresión parcial para el${\displaystyle {j}^{th}}$variable. Los puntos de datos con un gran apalancamiento parcial para una variable independiente pueden ejercer una influencia indebida en la selección de esa variable en los procedimientos de construcción de modelos de regresión automáticos.

Muchos programas y paquetes estadísticos, como R , Python , etc., incluyen implementaciones de Leverage.

• Matriz de proyección : cuyas entradas de la diagonal principal son los apalancamientos de las observaciones.
• Distancia de Mahalanobis : una medida ( escalada ) de apalancamiento de un dato
• Apalancamiento parcial
• Distancia de Cook : una medida de los cambios en los coeficientes de regresión cuando se elimina una observación.
• DFFITS
• Valores atípicos : observaciones con valores Y extremos.
• Grados de libertad (estadística) , la suma de las puntuaciones de apalancamiento