regresión lineal simple

Las ecuaciones anteriores son eficientes para usar si la media de las variables x e y (${\displaystyle {\bar {x}}{\text{ and }}{\bar {y}}}$) son conocidos. Si las medias no se conocen en el momento del cálculo, puede ser más eficiente utilizar la versión ampliada de la${\displaystyle {\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}}$ecuaciones. Estas ecuaciones expandidas pueden derivarse de las ecuaciones de regresión polinómica más generales ^{[ 7 ] [ 8 ]} definiendo el polinomio de regresión como de orden 1, como sigue.

$${\displaystyle {\begin{bmatrix}n&\sum _{i=1}^{n}x_{i}\\[1ex]\sum _{i=1}^{n}x_{i}&\sum _{i=1}^{n}x_{i}^{2}\end{bmatrix}}{\begin{bmatrix}{\widehat {\alpha }}\\[1ex]{\widehat {\beta }}\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}y_{i}\\[1ex]\sum _{i=1}^{n}y_{i}x_{i}\end{bmatrix}}}$$

El sistema de ecuaciones lineales anterior puede resolverse directamente o mediante ecuaciones independientes.${\displaystyle {\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}}$Se pueden obtener expandiendo las ecuaciones matriciales anteriores. Las ecuaciones resultantes son algebraicamente equivalentes a las mostradas en el párrafo anterior y se muestran a continuación sin demostración. ^{[ 9 ] [ 7 ]}

$${\displaystyle {\begin{aligned}{\widehat {\alpha }}&={\frac {\sum \limits _{i=1}^{n}y_{i}\sum \limits _{i=1}^{n}x_{i}^{2}-\sum \limits _{i=1}^{n}x_{i}\sum \limits _{i=1}^{n}x_{i}y_{i}}{n\sum \limits _{i=1}^{n}x_{i}^{2}-\left(\sum \limits _{i=1}^{n}x_{i}\right)^{2}}}\\[2ex]{\widehat {\beta }}&={\frac {n\sum \limits _{i=1}^{n}x_{i}y_{i}-\sum \limits _{i=1}^{n}x_{i}\sum \limits _{i=1}^{n}y_{i}}{n\sum \limits _{i=1}^{n}x_{i}^{2}-\left(\sum \limits _{i=1}^{n}x_{i}\right)^{2}}}\end{aligned}}}$$

La solución puede reformularse utilizando elementos de la matriz de covarianza : $${\displaystyle {\widehat {\beta }}={\frac {s_{x,y}}{s_{x}^{2}}}=r_{xy}{\frac {s_{y}}{s_{x}}}}$$

dónde

Sustituyendo las expresiones anteriores por${\displaystyle {\widehat {\alpha }}}$y${\displaystyle {\widehat {\beta }}}$en la solución original produce

$${\displaystyle {\frac {y-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}.}$$

Esto demuestra que r _xy es la pendiente de la línea de regresión de los puntos de datos estandarizados (y que esta línea pasa por el origen). Dado que${\displaystyle -1\leq r_{xy}\leq 1}$Entonces, si x es una medición y y es una medición de seguimiento del mismo elemento, entonces esperamos que y (en promedio) esté más cerca de la medición media que del valor original de x. Este fenómeno se conoce como regresión a la media .

Generalizar el${\displaystyle {\bar {x}}}$En notación, podemos escribir una barra horizontal sobre una expresión para indicar el valor promedio de esa expresión sobre el conjunto de muestras. Por ejemplo:

$${\displaystyle {\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}.}$$

Esta notación nos permite una fórmula concisa para r _xy :

$${\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}.}$$

El coeficiente de determinación ("R cuadrado") es igual a${\displaystyle r_{xy}^{2}}$cuando el modelo es lineal con una sola variable independiente. Consulte el coeficiente de correlación de la muestra para obtener más detalles.

Multiplicando todos los miembros de la suma en el numerador por  :${\displaystyle {\frac {x_{i}-{\bar {x}}}{x_{i}-{\bar {x}}}}=1}$(sin modificarlo):

$${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)\left(y_{i}-{\bar {y}}\right)}{\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}\\[1ex]&={\frac {\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}{\frac {y_{i}-{\bar {y}}}{x_{i}-{\bar {x}}}}}{\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}\\[1ex]&=\sum _{i=1}^{n}{\frac {\left(x_{i}-{\bar {x}}\right)^{2}}{\sum _{j=1}^{n}\left(x_{j}-{\bar {x}}\right)^{2}}}{\frac {y_{i}-{\bar {y}}}{x_{i}-{\bar {x}}}}\\[6pt]\end{aligned}}}$$

Podemos ver que la pendiente (tangente del ángulo) de la línea de regresión es el promedio ponderado de${\displaystyle {\frac {y_{i}-{\bar {y}}}{x_{i}-{\bar {x}}}}}$esa es la pendiente (tangente del ángulo) de la línea que conecta el i-ésimo punto con el promedio de todos los puntos, ponderado por${\displaystyle (x_{i}-{\bar {x}})^{2}}$porque cuanto más alejado esté el punto, más "importante" será, ya que pequeños errores en su posición afectarán más a la pendiente que lo conecta con el punto central.

El parámetro${\displaystyle {\widehat {\alpha }}}$es la intersección de la función lineal${\displaystyle {\begin{aligned}{y}&={\widehat {\alpha }}\ +{\widehat {\beta }}\,{x},\\[5pt]\end{aligned}}}$. Por lo tanto, el${\displaystyle {y}}$-La intersección de la función encontrada con regresión lineal simple es

$${\displaystyle y_{\rm {intercept}}={\widehat {\alpha }}={\bar {y}}-{\widehat {\beta }}\,{\bar {x}}}$$.

Porque${\displaystyle {\widehat {\beta }}}$es la pendiente de la función lineal,${\displaystyle {\widehat {\beta }}=\tan(\theta )}$Por lo tanto, el ángulo${\displaystyle \theta }$la gráfica de la función hace con el${\displaystyle {x}}$El eje es igual a

$${\displaystyle \theta =\arctan({\widehat {\beta }})}$$.

En la formulación anterior, observe que cada${\displaystyle x_{i}}$es un valor constante ("conocido de antemano"), mientras que el${\displaystyle y_{i}}$son variables aleatorias que dependen de la función lineal de${\displaystyle x_{i}}$y el término aleatorio${\displaystyle \varepsilon _{i}}$Esta suposición se utiliza al derivar el error estándar de la pendiente y al demostrar que no tiene sesgo .

En este marco, cuando${\displaystyle x_{i}}$En realidad no es una variable aleatoria , ¿qué tipo de parámetro es la correlación empírica?${\displaystyle r_{xy}}$¿Estimación? El problema es que para cada valor i tendremos:${\displaystyle E(x_{i})=x_{i}}$y${\displaystyle Var(x_{i})=0}$. Una posible interpretación de${\displaystyle r_{xy}}$es imaginar que${\displaystyle x_{i}}$define una variable aleatoria extraída de la distribución empírica de los valores x en nuestra muestra. Por ejemplo, si x tuviera 10 valores de los números naturales : [1,2,3...,10], entonces podemos imaginar que x es una distribución uniforme discreta . Bajo esta interpretación, todos${\displaystyle x_{i}}$tienen la misma expectativa y alguna varianza positiva. Con esta interpretación podemos pensar en${\displaystyle r_{xy}}$como estimador de la correlación de Pearson entre la variable aleatoria y y la variable aleatoria x (tal como la acabamos de definir).

Los estimadores${\displaystyle {\widehat {\alpha }}}$y${\displaystyle {\widehat {\beta }}}$son imparciales .

Para formalizar esta afirmación debemos definir un marco en el que estos estimadores sean variables aleatorias. Consideramos los residuos ε _i como variables aleatorias extraídas independientemente de alguna distribución con media cero. En otras palabras, para cada valor de x , el valor correspondiente de y se genera como una respuesta media α + βx más una variable aleatoria adicional ε llamada término de error , igual a cero en promedio. Bajo tal interpretación, los estimadores de mínimos cuadrados${\displaystyle {\widehat {\alpha }}}$y${\displaystyle {\widehat {\beta }}}$Serán variables aleatorias cuyas medias serán iguales a los "valores verdaderos" α y β . Esta es la definición de un estimador insesgado.

Dado que los datos en este contexto se definen como pares ( x , y ) para cada observación, la respuesta media en un valor dado de x , digamos x _d , es una estimación de la media de los valores de y en la población en el valor de x de x _d , es decir${\displaystyle {\hat {E}}(y\mid x_{d})\equiv {\hat {y}}_{d}\!}$. La varianza de la respuesta media viene dada por: ^{[ 11 ]}

$${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\operatorname {Var} \left({\hat {\alpha }}\right)+\left(\operatorname {Var} {\hat {\beta }}\right)x_{d}^{2}+2x_{d}\operatorname {Cov} \left({\hat {\alpha }},{\hat {\beta }}\right).}$$

Esta expresión se puede simplificar a

$${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right),}$$

donde m es el número de puntos de datos.

Para demostrar esta simplificación, se puede utilizar la identidad

$${\displaystyle \sum _{i}(x_{i}-{\bar {x}})^{2}=\sum _{i}x_{i}^{2}-{\frac {1}{m}}\left(\sum _{i}x_{i}\right)^{2}.}$$

La distribución de respuesta predicha es la distribución predicha de los residuos en el punto dado x _d . Por lo tanto, la varianza viene dada por

$${\displaystyle {\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)-2\operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)\\&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right).\end{aligned}}}$$

La segunda línea se deduce del hecho de que${\displaystyle \operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)}$es cero porque el nuevo punto de predicción es independiente de los datos utilizados para ajustar el modelo. Además, el término${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)}$Se calculó previamente para la respuesta media.

Desde${\displaystyle \operatorname {Var} (y_{d})=\sigma ^{2}}$(un parámetro fijo pero desconocido que puede estimarse), la varianza de la respuesta predicha viene dada por

$${\displaystyle {\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\sigma ^{2}+\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)\\[4pt]&=\sigma ^{2}\left(1+{\frac {1}{m}}+{\frac {(x_{d}-{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right).\end{aligned}}}$$

Las fórmulas dadas en la sección anterior permiten calcular las estimaciones puntuales de α y β , es decir, los coeficientes de la línea de regresión para el conjunto de datos dado. Sin embargo, esas fórmulas no nos dicen cuán precisas son las estimaciones, es decir, cuánto se ajustan los estimadores.${\displaystyle {\widehat {\alpha }}}$y${\displaystyle {\widehat {\beta }}}$Varían de una muestra a otra para el tamaño de muestra especificado. Se diseñaron intervalos de confianza para proporcionar un conjunto plausible de valores para las estimaciones que se podrían obtener si se repitiera el experimento un número muy grande de veces.

El método estándar para construir intervalos de confianza para los coeficientes de regresión lineal se basa en el supuesto de normalidad, que se justifica si:

1. Los errores en la regresión se distribuyen normalmente (el llamado supuesto clásico de regresión ), o
2. el número de observaciones n es suficientemente grande, en cuyo caso el estimador tiene una distribución aproximadamente normal.

Este último caso se justifica por el teorema del límite central .

Suposición de normalidad

Bajo el primer supuesto anterior, el de la normalidad de los términos de error, el estimador del coeficiente de pendiente tendrá una distribución normal con media β y varianza${\textstyle \sigma ^{2}\left/\sum _{i}(x_{i}-{\bar {x}})^{2}\right.,}$donde σ ² es la varianza de los términos de error (véase Demostraciones que involucran mínimos cuadrados ordinarios ). Al mismo tiempo, la suma de los residuos al cuadrado Q se distribuye proporcionalmente a χ ² con n − 2 grados de libertad, e independientemente de${\displaystyle {\widehat {\beta }}}$Esto nos permite construir un valor t .

$${\displaystyle t={\frac {{\widehat {\beta }}-\beta }{s_{\widehat {\beta }}}}\ \sim \ t_{n-2},}$$

dónde

$${\displaystyle s_{\widehat {\beta }}={\sqrt {\frac {{\frac {1}{n-2}}\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}$$

es el estimador de error estándar insesgado del estimador${\displaystyle {\widehat {\beta }}}$.

Este valor t tiene una distribución t de Student con n − 2 grados de libertad. Usándolo podemos construir un intervalo de confianza para β :

$${\displaystyle \beta \in \left[{\widehat {\beta }}-s_{\widehat {\beta }}t_{n-2}^{*},\ {\widehat {\beta }}+s_{\widehat {\beta }}t_{n-2}^{*}\right],}$$

con un nivel de confianza (1 − γ ) , donde${\displaystyle t_{n-2}^{*}}$es el${\displaystyle \scriptstyle \left(1\;-\;{\frac {\gamma }{2}}\right){\text{-th}}}$cuantil de la distribución t _{n −2} . Por ejemplo, si γ = 0,05 , entonces el nivel de confianza es del 95 %.

De manera similar, el intervalo de confianza para el coeficiente de intersección α viene dado por

$${\displaystyle \alpha \in \left[{\widehat {\alpha }}-s_{\widehat {\alpha }}t_{n-2}^{*},\ {\widehat {\alpha }}+s_{\widehat {\alpha }}t_{n-2}^{*}\right],}$$

con un nivel de confianza (1 − γ ), donde

$${\displaystyle s_{\widehat {\alpha }}=s_{\widehat {\beta }}{\sqrt {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}}}={\sqrt {{\frac {1}{n(n-2)}}\left(\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}\right){\frac {\sum _{i=1}^{n}x_{i}^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}}$$

Los intervalos de confianza para α y β nos dan una idea general de dónde es más probable que se encuentren estos coeficientes de regresión. Por ejemplo, en la regresión de la ley de Okun que se muestra aquí, las estimaciones puntuales son:

$${\displaystyle {\widehat {\alpha }}=0.859,\qquad {\widehat {\beta }}=-1.817.}$$

Los intervalos de confianza del 95% para estas estimaciones son:

$${\displaystyle \alpha \in \left[\,0.76,0.96\right],\qquad \beta \in \left[-2.06,-1.58\,\right].}$$

Para representar gráficamente esta información, en forma de bandas de confianza alrededor de la línea de regresión, es necesario proceder con cuidado y tener en cuenta la distribución conjunta de los estimadores. Se puede demostrar ^{[ 12 ]} que en el nivel de confianza (1  − γ ) la banda de confianza tiene forma hiperbólica dada por la ecuación 

$${\displaystyle (\alpha +\beta \xi )\in \left[\,{\widehat {\alpha }}+{\widehat {\beta }}\xi \pm t_{n-2}^{*}{\sqrt {\left({\frac {1}{n-2}}\sum {\widehat {\varepsilon }}_{i}^{\,2}\right)\cdot \left({\frac {1}{n}}+{\frac {(\xi -{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)}}\,\right].}$$

Cuando el modelo asumió que la intersección es fija e igual a 0 (${\displaystyle \alpha =0}$), el error estándar de la pendiente se convierte en:

$${\displaystyle s_{\widehat {\beta }}={\sqrt {{\frac {1}{n-1}}{\frac {\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}x_{i}^{2}}}}}}$$

Con:${\displaystyle {\hat {\varepsilon }}_{i}=y_{i}-{\hat {y}}_{i}}$

A veces es apropiado forzar que la línea de regresión pase por el origen, porque se supone que x e y son proporcionales. Para el modelo sin el término de intersección, y = βx , el estimador MCO para β se simplifica a

$${\displaystyle {\widehat {\beta }}={\frac {\sum _{i=1}^{n}x_{i}y_{i}}{\sum _{i=1}^{n}x_{i}^{2}}}={\frac {\overline {xy}}{\overline {x^{2}}}}}$$

Sustituyendo ( x − h , y − k ) en lugar de ( x , y ) se obtiene la regresión a través de ( h , k ) :

$${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-h)(y_{i}-k)}{\sum _{i=1}^{n}(x_{i}-h)^{2}}}={\frac {\overline {(x-h)(y-k)}}{\overline {(x-h)^{2}}}}\\[6pt]&={\frac {{\overline {xy}}-k{\bar {x}}-h{\bar {y}}+hk}{{\overline {x^{2}}}-2h{\bar {x}}+h^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}+({\bar {x}}-h)({\bar {y}}-k)}{{\overline {x^{2}}}-{\bar {x}}^{2}+({\bar {x}}-h)^{2}}}\\[6pt]&={\frac {\operatorname {Cov} (x,y)+({\bar {x}}-h)({\bar {y}}-k)}{\operatorname {Var} (x)+({\bar {x}}-h)^{2}}},\end{aligned}}}$$

donde Cov y Var se refieren a la covarianza y la varianza de los datos de la muestra (sin corregir el sesgo). La última forma mostrada anteriormente ilustra cómo el desplazamiento de la línea desde el centro de masa de los puntos de datos afecta la pendiente.