Regresión lineal

• ${\displaystyle \mathbf {y} }$es un vector de valores observados${\displaystyle y_{i}\ (i=1,\ldots ,n)}$de la variable llamada regresonda , variable endógena , variable de respuesta , variable objetivo , variable medida , variable criterio o variable dependiente . Esta variable también se conoce a veces como variable predicha , pero esto no debe confundirse con los valores predichos , que se denotan${\displaystyle {\hat {y}}}$La decisión sobre qué variable de un conjunto de datos se modela como variable dependiente y cuáles como variables independientes puede basarse en la suposición de que el valor de una de las variables es causado por las demás o influenciado directamente por ellas. Alternativamente, puede existir una razón operativa para modelar una de las variables en función de las demás, en cuyo caso no es necesario presumir causalidad.
• ${\displaystyle \mathbf {X} }$puede verse como una matriz de vectores fila${\displaystyle \mathbf {x} _{i\cdot }}$o de vectores columna n - dimensionales${\displaystyle \mathbf {x} _ {\cdot j}}$, que se conocen como regresores , variables exógenas , variables explicativas , covariables , variables de entrada , variables predictoras o variables independientes (que no deben confundirse con el concepto de variables aleatorias independientes ). La matriz${\displaystyle \mathbf {X} }$A veces se la denomina matriz de diseño .
  • Por lo general, se incluye una constante como uno de los regresores. En particular,${\displaystyle x_{i0}=1}$para${\displaystyle i=1,\ldots ,n}$El elemento correspondiente de β se denomina término independiente . Muchos procedimientos de inferencia estadística para modelos lineales requieren la presencia de un término independiente, por lo que a menudo se incluye incluso si consideraciones teóricas sugieren que su valor debería ser cero.
  • En ocasiones, uno de los regresores puede ser una función no lineal de otro regresor o de los valores de los datos, como en la regresión polinómica y la regresión segmentada . El modelo permanece lineal siempre que sea lineal en el vector de parámetros β .
  • Los valores x _ij pueden interpretarse como valores observados de variables aleatorias X _j o como valores fijos elegidos antes de observar la variable dependiente. Ambas interpretaciones pueden ser apropiadas en distintos casos y, por lo general, conducen a los mismos procedimientos de estimación; sin embargo, en estas dos situaciones se utilizan enfoques diferentes para el análisis asintótico .
• ${\displaystyle {\boldsymbol {\beta }}}$es un${\displaystyle (p+1)}$vector de parámetros de dimensión , donde${\displaystyle \beta _{0}}$es el término de intersección (si se incluye uno en el modelo; de lo contrario,${\displaystyle {\boldsymbol {\beta }}}$es p -dimensional). Sus elementos se conocen como efectos o coeficientes de regresión (aunque este último término a veces se reserva para los efectos estimados ). En la regresión lineal simple , p = 1, y el coeficiente se conoce como pendiente de regresión.La estimación estadística y la inferencia en la regresión lineal se centran en β . Los elementos de este vector de parámetros se interpretan como las derivadas parciales de la variable dependiente con respecto a las distintas variables independientes.
• ${\displaystyle {\boldsymbol {\varepsilon }}}$es un vector de valores${\displaystyle \varepsilon _ {i}}$Esta parte del modelo se denomina término de error , término de perturbación o, a veces, ruido (en contraste con la "señal" que proporciona el resto del modelo). Esta variable engloba todos los demás factores que influyen en la variable dependiente y, además de las variables explicativas x . La relación entre el término de error y las variables explicativas, por ejemplo, su correlación , es un aspecto crucial en la formulación de un modelo de regresión lineal, ya que determinará el método de estimación adecuado.

Ajustar un modelo lineal a un conjunto de datos determinado generalmente requiere estimar los coeficientes de regresión.${\displaystyle {\boldsymbol {\beta }}}$de tal manera que el término de error${\displaystyle {\boldsymbol {\varepsilon }}=\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$se minimiza. Por ejemplo, es común utilizar la suma de los errores al cuadrado.${\displaystyle \|{\boldsymbol {\varepsilon }}\|_{2}^{2}}$como medida de${\displaystyle {\boldsymbol {\varepsilon }}}$para minimizar.

Consideremos una situación en la que se lanza una pequeña pelota al aire y luego medimos sus alturas de ascenso h _i en varios momentos en el tiempo t _i . La física nos dice que, ignorando la resistencia del aire , la relación se puede modelar como

${\displaystyle h_{i}=\beta _{1}t_{i}+\beta _{2}t_{i}^{2}+\varepsilon _{i},}$

donde β ₁ determina la velocidad inicial de la bola, β ₂ es proporcional a la gravedad estándar y ε _i se debe a errores de medición. Se puede utilizar la regresión lineal para estimar los valores de β ₁ y β ₂ a partir de los datos medidos. Este modelo es no lineal en la variable tiempo, pero es lineal en los parámetros β ₁ y β ₂ ; si tomamos regresores x _i  =  ( x _{i 1} , x _{i 2} )  =  ( t _i , t _i ² ), el modelo toma la forma estándar.

${\displaystyle h_{i}=\mathbf {x} _{i}^{\mathsf {T}}{\boldsymbol {\beta }}+\varepsilon _{i}.}$

Al estimar los parámetros de modelos de regresión lineal con técnicas de estimación estándar como los mínimos cuadrados ordinarios , es necesario realizar una serie de supuestos sobre las variables predictoras, la variable de respuesta y su relación, para obtener estimadores insesgados en muestras finitas . Se han desarrollado numerosas extensiones que permiten flexibilizar cada uno de estos supuestos (reducirlos a una forma más débil) y, en algunos casos, eliminarlos por completo. Generalmente, estas extensiones requieren más datos o supuestos de modelado para producir un modelo igualmente preciso ^{[ 5 ]} .

Un modelo de regresión lineal ajustado puede utilizarse para identificar la relación entre una única variable predictora x _j y la variable de respuesta y cuando todas las demás variables predictoras del modelo se mantienen fijas. Específicamente, la interpretación de β _j es el cambio esperado en y para un cambio de una unidad en x _j cuando las demás covariables se mantienen fijas; es decir, el valor esperado de la derivada parcial de y con respecto a x _j . Esto a veces se denomina efecto único de x _j sobre y . En cambio, el efecto marginal de x _j sobre y puede evaluarse utilizando un coeficiente de correlación o un modelo de regresión lineal simple que relacione únicamente x _j con y ; este efecto es la derivada total de y con respecto a x _j .

Se debe tener cuidado al interpretar los resultados de la regresión, ya que algunos de los regresores pueden no permitir cambios marginales (como las variables ficticias o el término de intersección), mientras que otros no pueden mantenerse fijos (recuerde el ejemplo de la introducción: sería imposible "mantener t _i fijo" y al mismo tiempo cambiar el valor de t _i ² ).

Es posible que el efecto único sea casi cero incluso cuando el efecto marginal sea grande. Esto puede implicar que alguna otra covariable capture toda la información en x _j , de modo que una vez que esa variable está en el modelo, no hay ninguna contribución de x _j a la variación en y . Por el contrario, el efecto único de x _j puede ser grande mientras que su efecto marginal es casi cero. Esto sucedería si las otras covariables explicaran una gran parte de la variación de y , pero principalmente explican la variación de una manera que es complementaria a lo que captura x _j . En este caso, incluir las otras variables en el modelo reduce la parte de la variabilidad de y que no está relacionada con x _j , fortaleciendo así la relación aparente con x _j .

El significado de la expresión "mantener fijo" puede depender de cómo se obtienen los valores de las variables predictoras. Si el experimentador establece directamente los valores de las variables predictoras según el diseño del estudio, las comparaciones de interés pueden corresponder literalmente a comparaciones entre unidades cuyas variables predictoras han sido "mantenidas fijas" por el experimentador. Alternativamente, la expresión "mantener fijo" puede referirse a una selección que se realiza en el contexto del análisis de datos. En este caso, "mantenemos una variable fija" al restringir nuestra atención a los subconjuntos de datos que tienen un valor común para la variable predictora dada. Esta es la única interpretación de "mantener fijo" que se puede utilizar en un estudio observacional .

La noción de un "efecto único" resulta atractiva al estudiar un sistema complejo donde múltiples componentes interrelacionados influyen en la variable de respuesta. En algunos casos, puede interpretarse literalmente como el efecto causal de una intervención vinculado al valor de una variable predictora. Sin embargo, se ha argumentado que, en muchos casos, el análisis de regresión múltiple no logra esclarecer las relaciones entre las variables predictoras y la variable de respuesta cuando las predictoras están correlacionadas entre sí y no se asignan según un diseño de estudio. ^{[ 6 ]}

El caso más simple de una única variable predictora escalar x y una única variable de respuesta escalar y se conoce como regresión lineal simple . La extensión a múltiples variables predictoras y/o vectoriales (denotadas con una X mayúscula ) se conoce como regresión lineal múltiple , también conocida como regresión lineal multivariable (que no debe confundirse con la regresión lineal multivariante ). ^{[ 7 ]}

La regresión lineal múltiple es una generalización de la regresión lineal simple al caso de más de una variable independiente, y un caso especial de los modelos lineales generales, restringido a una variable dependiente. El modelo básico para la regresión lineal múltiple es

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i1}+\beta _{2}X_{i2}+\ldots +\beta _{p}X_{ip}+\epsilon _{i}}$

para cada observación${\textstyle i=1,\ldots ,n}$.

En la fórmula anterior, consideramos n observaciones de una variable dependiente y p variables independientes. Así, Y _i es la i ^-ésima observación de la variable dependiente, X _ij es la i- ^ésima observación de la j ^-ésima variable independiente, j = 1, 2, ..., p . Los valores β _j representan parámetros a estimar, y ε _i es el i- ^ésimo error normal independiente idénticamente distribuido.

En la regresión lineal multivariante más general, existe una ecuación de la forma anterior para cada una de las m > 1 variables dependientes que comparten el mismo conjunto de variables explicativas y, por lo tanto, se estiman simultáneamente entre sí:

${\displaystyle Y_{ij}=\beta _{0j}+\beta _{1j}X_{i1}+\beta _{2j}X_{i2}+\ldots +\beta _{pj}X_{ip}+\epsilon _{ij}}$

para todas las observaciones indexadas como i = 1, ... , n y para todas las variables dependientes indexadas como j = 1, ... , m .

Casi todos los modelos de regresión del mundo real involucran múltiples predictores, y las descripciones básicas de la regresión lineal a menudo se formulan en términos del modelo de regresión múltiple. Sin embargo, cabe señalar que en estos casos la variable de respuesta y sigue siendo un escalar. Otro término, regresión lineal multivariante , se refiere a los casos en los que y es un vector, es decir, lo mismo que en la regresión lineal general .

El modelo lineal general considera la situación en la que la variable de respuesta no es un escalar (para cada observación) sino un vector, y _i . Linealidad condicional de${\displaystyle E(\mathbf {y} \mid \mathbf {x} _{i})=\mathbf {x} _{i}^{\mathsf {T}}B}$Se sigue asumiendo que la matriz B reemplaza al vector β del modelo de regresión lineal clásico. Se han desarrollado análogos multivariados de los mínimos cuadrados ordinarios (MCO) y los mínimos cuadrados generalizados (MCG). Los "modelos lineales generales" también se denominan "modelos lineales multivariados". Estos no son lo mismo que los modelos lineales multivariados (también llamados "modelos lineales múltiples").

Se han creado diversos modelos que permiten la heterocedasticidad , es decir, que los errores de diferentes variables de respuesta pueden tener varianzas distintas . Por ejemplo, el método de mínimos cuadrados ponderados se utiliza para estimar modelos de regresión lineal cuando las variables de respuesta pueden tener varianzas de error diferentes, posiblemente con errores correlacionados. (Véase también Mínimos cuadrados lineales ponderados y Mínimos cuadrados generalizados ). Los errores estándar consistentes con la heterocedasticidad constituyen un método mejorado para su uso con errores no correlacionados pero potencialmente heterocedásticos.

El modelo lineal generalizado (GLM) es un marco para modelar variables de respuesta acotadas o discretas. Se utiliza, por ejemplo:

• al modelar cantidades positivas (por ejemplo, precios o poblaciones) que varían a gran escala, las cuales se describen mejor utilizando una distribución asimétrica como la distribución log-normal o la distribución de Poisson (aunque los GLM no se utilizan para datos log-normales, en su lugar la variable de respuesta simplemente se transforma utilizando la función logaritmo);
• al modelar datos categóricos , como la elección de un candidato determinado en una elección (que se describe mejor utilizando una distribución de Bernoulli / distribución binomial para elecciones binarias, o una distribución categórica / distribución multinomial para elecciones de múltiples opciones), donde hay un número fijo de opciones que no se pueden ordenar de manera significativa;
• al modelar datos ordinales , por ejemplo, calificaciones en una escala del 0 al 5, donde los diferentes resultados se pueden ordenar pero donde la cantidad en sí misma puede no tener ningún significado absoluto (por ejemplo, una calificación de 4 puede no ser "el doble de buena" en ningún sentido objetivo que una calificación de 2, sino que simplemente indica que es mejor que 2 o 3 pero no tan buena como 5).

Los modelos lineales generalizados permiten una función de enlace arbitraria , g , que relaciona la media de la(s) variable(s) de respuesta con los predictores:${\displaystyle E(Y)=g^{-1}(XB)}$. La función de enlace a menudo está relacionada con la distribución de la respuesta, y en particular suele tener el efecto de transformar entre la${\displaystyle (-\infty,\infty)}$rango del predictor lineal y rango de la variable de respuesta.

Algunos ejemplos comunes de GLM son:

• Regresión de Poisson para datos de conteo.
• Regresión logística y regresión probit para datos binarios.
• Regresión logística multinomial y regresión probit multinomial para datos categóricos.
• Regresión logit ordinal y probit ordinal para datos ordinales.

Los modelos de índice único permiten cierto grado de no linealidad en la relación entre x e y , al tiempo que preservan el papel central del predictor lineal β ′ x como en el modelo de regresión lineal clásico. Bajo ciertas condiciones, la simple aplicación de MCO a datos de un modelo de índice único estimará consistentemente β salvo una constante de proporcionalidad. ^{[ 8 ]}

Los modelos lineales jerárquicos (o regresión multinivel ) organizan los datos en una jerarquía de regresiones, por ejemplo, donde A se regresa sobre B , y B sobre C. Se utilizan frecuentemente cuando las variables de interés tienen una estructura jerárquica natural, como en la estadística educativa, donde los estudiantes están agrupados en aulas, las aulas en escuelas y las escuelas en alguna agrupación administrativa, como un distrito escolar. La variable de respuesta podría ser una medida del rendimiento estudiantil, como una puntuación en una prueba, y se recopilarían diferentes covariables a nivel de aula, escuela y distrito escolar.

Los modelos con errores en las variables (o «modelos de error de medición») extienden el modelo de regresión lineal tradicional para permitir que las variables predictoras X se observen con error. Este error provoca que los estimadores estándar de β se sesguen. Generalmente, el sesgo se manifiesta como una atenuación, lo que significa que los efectos tienden a ser nulos.

En un modelo de regresión lineal múltiple

${\displaystyle y=\beta _{0}+\beta _{1}x_{1}+\cdots +\beta _{p}x_{p}+\varepsilon ,}$

parámetro${\displaystyle \beta _{j}}$de variable predictora${\displaystyle x_{j}}$representa el efecto individual de${\displaystyle x_{j}}$Tiene una interpretación como el cambio esperado en la variable de respuesta.${\displaystyle y}$cuando${\displaystyle x_{j}}$aumenta en una unidad manteniendo constantes las demás variables predictoras. Cuando${\displaystyle x_{j}}$está fuertemente correlacionado con otras variables predictoras, es improbable que${\displaystyle x_{j}}$puede aumentar en una unidad manteniendo constantes las demás variables. En este caso, la interpretación de${\displaystyle \beta _{j}}$se vuelve problemático ya que se basa en una condición improbable y el efecto de${\displaystyle x_{j}}$no puede evaluarse de forma aislada.

Para un grupo de variables predictoras, por ejemplo,${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$, un efecto de grupo${\displaystyle \xi (\mathbf {w} )}$se define como una combinación lineal de sus parámetros

${\displaystyle \xi (\mathbf {w} )=w_{1}\beta _ {1}+w_ {2}\beta _ {2}+\dots +w_ {q}\beta _ {q},}$

dónde${\displaystyle \mathbf {w} =(w_{1},w_{2},\dots ,w_{q})^{\intercal }}$es un vector de peso que satisface${\textstyle \sum _{j=1}^{q}|w_{j}|=1}$Debido a la restricción en${\displaystyle {w_{j}}}$,${\displaystyle \xi (\mathbf {w} )}$También se le conoce como efecto de grupo normalizado. Un efecto de grupo${\displaystyle \xi (\mathbf {w} )}$tiene una interpretación como el cambio esperado en${\displaystyle y}$cuando las variables en el grupo${\displaystyle x_{1},x_{2},\dots ,x_{q}}$cambiar por la cantidad${\displaystyle w_{1},w_{2},\dots ,w_{q}}$, respectivamente, al mismo tiempo que otras variables (que no pertenecen al grupo) se mantienen constantes. Generaliza el efecto individual de una variable a un grupo de variables en el sentido de que (${\displaystyle i}$) si${\displaystyle q=1}$, entonces el efecto de grupo se reduce a un efecto individual, y (${\displaystyle ii}$) si${\displaystyle w_{i}=1}$y${\displaystyle w_{j}=0}$para${\displaystyle j\neq i}$, entonces el efecto de grupo también se reduce a un efecto individual. Un efecto de grupo${\displaystyle \xi (\mathbf {w} )}$Se dice que es significativo si los cambios simultáneos subyacentes de la${\displaystyle q}$variables${\displaystyle (x_{1},x_{2},\dots ,x_{q})^{\intercal }}$es probable.

Los efectos de grupo proporcionan un medio para estudiar el impacto colectivo de variables predictoras fuertemente correlacionadas en modelos de regresión lineal. Los efectos individuales de dichas variables no están bien definidos, ya que sus parámetros no tienen buenas interpretaciones. Además, cuando el tamaño de la muestra no es grande, ninguno de sus parámetros puede estimarse con precisión mediante la regresión de mínimos cuadrados debido al problema de multicolinealidad . Sin embargo, existen efectos de grupo significativos que tienen buenas interpretaciones y pueden estimarse con precisión mediante la regresión de mínimos cuadrados. Una forma sencilla de identificar estos efectos de grupo significativos es utilizar una disposición de correlaciones totalmente positivas (APC) de las variables fuertemente correlacionadas, bajo la cual las correlaciones por pares entre estas variables son todas positivas, y estandarizar todas${\displaystyle p}$variables predictoras en el modelo de modo que todas tengan media cero y longitud uno. Para ilustrar esto, supongamos que${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$es un grupo de variables fuertemente correlacionadas en una disposición APC y que no están fuertemente correlacionadas con variables predictoras fuera del grupo.${\displaystyle y'}$ser el centrado${\displaystyle y}$y${\displaystyle x_{j}'}$ser el estandarizado${\displaystyle x_{j}}$. Entonces, el modelo de regresión lineal estandarizado es

${\displaystyle y'=\beta _{1}'x_{1}'+\cdots +\beta _{p}'x_{p}'+\varepsilon .}$

Parámetros${\displaystyle \beta _{j}}$en el modelo original, incluyendo${\displaystyle \beta _{0}}$, son funciones simples de${\displaystyle \beta _{j}'}$en el modelo estandarizado. La estandarización de las variables no cambia sus correlaciones, por lo que${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$es un grupo de variables fuertemente correlacionadas en un arreglo APC y no están fuertemente correlacionadas con otras variables predictoras en el modelo estandarizado. Un efecto de grupo de${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$es

${\displaystyle \xi '(\mathbf {w} )=w_{1}\beta _{1}'+w_{2}\beta _{2}'+\dots +w_{q}\beta _{q}',}$

y su estimador lineal insesgado de mínima varianza es

${\displaystyle {\hat {\xi }}'(\mathbf {w} )=w_{1}{\hat {\beta }}_{1}'+w_{2}{\hat {\beta }}_{2}'+\dots +w_{q}{\hat {\beta }}_{q}',}$

dónde${\displaystyle {\hat {\beta }}_{j}'}$es el estimador de mínimos cuadrados de${\displaystyle \beta _{j}'}$. En particular, el efecto promedio del grupo de${\displaystyle q}$Las variables estandarizadas son

${\displaystyle \xi _{A}={\frac {1}{q}}(\beta _{1}'+\beta _{2}'+\dots +\beta _{q}'),}$

lo cual tiene una interpretación como el cambio esperado en${\displaystyle y'}$cuando todos${\displaystyle x_{j}'}$en el grupo fuertemente correlacionado aumenta por${\displaystyle (1/q)}$t de una unidad al mismo tiempo con variables fuera del grupo mantenidas constantes. Con fuertes correlaciones positivas y en unidades estandarizadas, las variables en el grupo son aproximadamente iguales, por lo que es probable que aumenten al mismo tiempo y en una cantidad similar. Por lo tanto, el efecto promedio del grupo${\displaystyle \xi _{A}}$es un efecto significativo. Puede estimarse con precisión mediante su estimador lineal insesgado de varianza mínima.${\textstyle {\hat {\xi }}_{A}={\frac {1}{q}}({\hat {\beta }}_{1}'+{\hat {\beta }}_{2}'+\dots +{\hat {\beta }}_{q}')}$, incluso cuando individualmente ninguno de los${\displaystyle \beta _{j}'}$puede ser estimado con precisión por${\displaystyle {\hat {\beta }}_{j}'}$.

No todos los efectos de grupo son significativos o pueden estimarse con precisión. Por ejemplo,${\displaystyle \beta _{1}'}$es un efecto de grupo especial con ponderaciones${\displaystyle w_{1}=1}$y${\displaystyle w_{j}=0}$para${\displaystyle j\neq 1}$pero no puede estimarse con precisión mediante${\displaystyle {\hat {\beta }}'_{1}}$. Tampoco es un efecto significativo. En general, para un grupo de${\displaystyle q}$variables predictoras fuertemente correlacionadas en una disposición APC en el modelo estandarizado, efectos de grupo cuyos vectores de peso${\displaystyle \mathbf {w} }$están en el centro o cerca del centro simplex${\textstyle \sum _{j=1}^{q}w_{j}=1}$(${\displaystyle w_{j}\geq 0}$Los efectos con vectores de ponderación alejados del centro son significativos y pueden estimarse con precisión mediante sus estimadores lineales insesgados de mínima varianza. Los efectos con vectores de ponderación alejados del centro no son significativos, ya que representan cambios simultáneos de las variables que violan las fuertes correlaciones positivas de las variables estandarizadas en un arreglo APC. Por lo tanto, no son probables. Estos efectos tampoco pueden estimarse con precisión.

Las aplicaciones de los efectos de grupo incluyen (1) estimación e inferencia de efectos de grupo significativos sobre la variable de respuesta, (2) prueba de "significancia de grupo" de la${\displaystyle q}$variables mediante pruebas${\displaystyle H_{0}:\xi _{A}=0}$versus${\displaystyle H_{1}:\xi _{A}\neq 0}$y (3) caracterizar la región del espacio de variables predictoras sobre la cual las predicciones del modelo estimado por mínimos cuadrados son precisas.

Un efecto de grupo de las variables originales${\displaystyle \{x_{1},x_{2},\dots ,x_{q}\}}$puede expresarse como una constante multiplicada por un efecto de grupo de las variables estandarizadas${\displaystyle \{x_{1}',x_{2}',\dots ,x_{q}'\}}$. Lo primero es significativo cuando lo segundo lo es. Por lo tanto, los efectos grupales significativos de las variables originales pueden encontrarse a través de los efectos grupales significativos de las variables estandarizadas. ^{[ 9 ]}

En la teoría de Dempster-Shafer , o en particular en una función de creencia lineal , un modelo de regresión lineal puede representarse como una matriz parcialmente barrida, la cual puede combinarse con matrices similares que representan observaciones y otras distribuciones normales supuestas y ecuaciones de estado. La combinación de matrices barridas o no barridas proporciona un método alternativo para estimar modelos de regresión lineal.

Suponiendo que las variables independientes son${\displaystyle {\vec {x_{i}}}=\left[x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$y los parámetros del modelo son${\displaystyle {\vec {\beta }}=\left[\beta _{0},\beta _{1},\ldots ,\beta _{m}\right]}$, entonces la predicción del modelo sería

${\displaystyle y_{i}\approx \beta _{0}+\sum _{j=1}^{m}\beta _{j}\times x_{j}^{i}}$.

Si${\displaystyle {\vec {x_{i}}}}$se extiende a${\displaystyle {\vec {x_{i}}}=\left[1,x_{1}^{i},x_{2}^{i},\ldots ,x_{m}^{i}\right]}$entonces${\displaystyle y_{i}}$se convertiría en un producto escalar del parámetro y los vectores independientes, es decir

${\displaystyle y_{i}\approx \sum _{j=0}^{m}\beta _{j}\times x_{j}^{i}={\vec {\beta }}\cdot {\vec {x_{i}}}}$.

En el método de mínimos cuadrados, el vector de parámetros óptimo se define de tal manera que minimiza la suma de la pérdida cuadrática media:

${\displaystyle {\vec {\hat {\beta }}}={\underset {\vec {\beta }}{\mbox{arg min}}}\,L\left(D,{\vec {\beta }}\right)={\underset {\vec {\beta }}{\mbox{arg min}}}\sum _{i=1}^{n}\left({\vec {\beta }}\cdot {\vec {x_{i}}}-y_{i}\right)^{2}}$

Ahora colocamos las variables independientes y dependientes en matrices.${\displaystyle X}$y${\displaystyle Y}$respectivamente, la función de pérdida se puede reescribir como:

${\displaystyle {\begin{aligned}L\left(D,{\vec {\beta }}\right)&=\|X{\vec {\beta }}-Y\|^{2}\\&=\left(X{\vec {\beta }}-Y\right)^{\textsf {T}}\left(X{\vec {\beta }}-Y\right)\\&=Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

Como la función de pérdida es convexa , la solución óptima se encuentra en el gradiente cero. El gradiente de la función de pérdida es (usando la convención de diseño del denominador ):

${\displaystyle {\begin{aligned}{\frac {\partial L\left(D,{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}&={\frac {\partial \left(Y^{\textsf {T}}Y-Y^{\textsf {T}}X{\vec {\beta }}-{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}Y+{\vec {\beta }}^{\textsf {T}}X^{\textsf {T}}X{\vec {\beta }}\right)}{\partial {\vec {\beta }}}}\\&=-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}\end{aligned}}}$

Si se establece el gradiente en cero, se obtiene el parámetro óptimo:

${\displaystyle {\begin{aligned}-2X^{\textsf {T}}Y+2X^{\textsf {T}}X{\vec {\beta }}&=0\\\Rightarrow X^{\textsf {T}}X{\vec {\beta }}&=X^{\textsf {T}}Y\\\Rightarrow {\vec {\hat {\beta }}}&=\left(X^{\textsf {T}}X\right)^{-1}X^{\textsf {T}}Y\end{aligned}}}$

Nota: El${\displaystyle {\hat {\beta }}}$El resultado obtenido puede ser, en efecto, un mínimo local; es necesario derivar una vez más para obtener la matriz hessiana y demostrar que es definida positiva. Esto lo proporciona el teorema de Gauss-Markov .

Los métodos de mínimos cuadrados lineales incluyen principalmente:

• mínimos cuadrados ordinarios
• mínimos cuadrados ponderados
• mínimos cuadrados generalizados
• Ajuste de plantilla lineal ^{[ 11 ]}

• La regresión lineal bayesiana aplica el marco de la estadística bayesiana a la regresión lineal. (Véase también regresión lineal multivariante bayesiana ). En particular, se supone que los coeficientes de regresión β son variables aleatorias con una distribución a priori específica . Esta distribución a priori puede sesgar las soluciones para los coeficientes de regresión, de forma similar (pero más general) a la regresión de cresta o la regresión lasso . Además, el proceso de estimación bayesiana no produce una única estimación puntual para los valores "óptimos" de los coeficientes de regresión, sino una distribución posterior completa que describe totalmente la incertidumbre que rodea a la cantidad. Esto puede utilizarse para estimar los coeficientes "óptimos" mediante la media, la moda, la mediana, cualquier cuantil (véase regresión de cuantiles ) o cualquier otra función de la distribución posterior.
• La regresión de cuantiles se centra en los cuantiles condicionales de y dado X en lugar de la media condicional de y dado X. La regresión lineal de cuantiles modela un cuantil condicional particular, por ejemplo la mediana condicional, como una función lineal β ^T x de los predictores.
• Los modelos mixtos se utilizan ampliamente para analizar relaciones de regresión lineal que involucran datos dependientes cuando las dependencias tienen una estructura conocida. Las aplicaciones comunes de los modelos mixtos incluyen el análisis de datos con mediciones repetidas, como datos longitudinales o datos obtenidos mediante muestreo por conglomerados. Generalmente se ajustan como modelos paramétricos , utilizando estimación de máxima verosimilitud o bayesiana. En el caso de que los errores se modelen como variables aleatorias normales , existe una estrecha relación entre los modelos mixtos y los mínimos cuadrados generalizados. ^{[ 20 ]} La estimación de efectos fijos es un enfoque alternativo para analizar este tipo de datos.
• La regresión de componentes principales (PCR) ^{[ 21 ] [ 22 ]} se utiliza cuando el número de variables predictoras es grande o cuando existen fuertes correlaciones entre ellas. Este procedimiento de dos etapas primero reduce las variables predictoras mediante el análisis de componentes principales y luego utiliza las variables reducidas en un ajuste de regresión MCO. Si bien suele funcionar bien en la práctica, no existe una razón teórica general que indique que la función lineal más informativa de las variables predictoras deba estar entre los componentes principales dominantes de la distribución multivariante de dichas variables. La regresión de mínimos cuadrados parciales es una extensión del método PCR que no presenta la deficiencia mencionada.
• La regresión de ángulo mínimo ^{[ 23 ]} es un procedimiento de estimación para modelos de regresión lineal que se desarrolló para manejar vectores de covariables de alta dimensión, potencialmente con más covariables que observaciones.
• El estimador de Theil-Sen es una técnica de estimación robusta y sencilla que elige la pendiente de la línea de ajuste como la mediana de las pendientes de las líneas que pasan por pares de puntos de muestra. Tiene propiedades de eficiencia estadística similares a las de la regresión lineal simple, pero es mucho menos sensible a los valores atípicos . ^{[ 24 ]}
• Se han introducido otras técnicas de estimación robustas, incluido el método de la media recortada con α , y los estimadores L, M, S y R.

Una línea de tendencia representa una tendencia, el movimiento a largo plazo en datos de series temporales una vez considerados otros componentes. Indica si un conjunto de datos específico (por ejemplo, el PIB, los precios del petróleo o las cotizaciones bursátiles) ha aumentado o disminuido durante un período de tiempo. Una línea de tendencia podría trazarse visualmente a partir de un conjunto de puntos de datos, pero, más precisamente, su posición y pendiente se calculan mediante técnicas estadísticas como la regresión lineal. Las líneas de tendencia suelen ser rectas, aunque algunas variantes utilizan polinomios de mayor grado según la curvatura deseada.

Las líneas de tendencia se utilizan a veces en el análisis empresarial para mostrar cambios en los datos a lo largo del tiempo. Esto tiene la ventaja de ser sencillo. Las líneas de tendencia se utilizan a menudo para argumentar que una acción o evento específico (como una capacitación o una campaña publicitaria) causó los cambios observados en un momento dado. Esta es una técnica simple que no requiere un grupo de control, un diseño experimental ni una técnica de análisis sofisticada. Sin embargo, adolece de falta de validez científica en los casos en que otros cambios potenciales puedan afectar los datos.

Las primeras evidencias que relacionaban el tabaquismo con la mortalidad y la morbilidad provinieron de estudios observacionales que empleaban análisis de regresión. Para reducir las correlaciones espurias al analizar datos observacionales, los investigadores suelen incluir varias variables en sus modelos de regresión, además de la variable de interés principal. Por ejemplo, en un modelo de regresión donde el tabaquismo es la variable independiente de interés principal y la variable dependiente es la esperanza de vida medida en años, los investigadores podrían incluir la educación y los ingresos como variables independientes adicionales, para asegurar que cualquier efecto observado del tabaquismo en la esperanza de vida no se deba a esos otros factores socioeconómicos . Sin embargo, nunca es posible incluir todas las posibles variables de confusión en un análisis empírico. Por ejemplo, un gen hipotético podría aumentar la mortalidad y también hacer que las personas fumen más. Por esta razón, los ensayos controlados aleatorios suelen generar evidencia más convincente de relaciones causales que la que se puede obtener mediante análisis de regresión de datos observacionales. Cuando los experimentos controlados no son factibles, se pueden utilizar variantes del análisis de regresión, como la regresión de variables instrumentales, para intentar estimar relaciones causales a partir de datos observacionales.

El modelo de valoración de activos de capital utiliza la regresión lineal, así como el concepto de beta , para analizar y cuantificar el riesgo sistemático de una inversión. Esto se deriva directamente del coeficiente beta del modelo de regresión lineal, que relaciona la rentabilidad de la inversión con la rentabilidad de todos los activos de riesgo.

La regresión lineal es la herramienta empírica predominante en economía . Por ejemplo, se utiliza para predecir el gasto en consumo , ^{[ 25 ]} el gasto en inversión fija , la inversión en inventarios , las compras de las exportaciones de un país , ^{[ 26 ]} el gasto en importaciones , ^{[ 26 ]} la demanda de mantener activos líquidos , ^{[ 27 ]} la demanda de trabajo , ^{[ 28 ]} y la oferta de trabajo . ^{[ 28 ]}

La regresión lineal encuentra aplicación en una amplia gama de aplicaciones de ciencias ambientales, como el uso del suelo , ^{[ 29 ]} las enfermedades infecciosas , ^{[ 30 ]} y la contaminación del aire . ^{[ 31 ]} Por ejemplo, la regresión lineal puede usarse para predecir los efectos cambiantes de la contaminación de los automóviles. ^{[ 32 ]} Un ejemplo notable de esta aplicación en enfermedades infecciosas es la estrategia de aplanar la curva enfatizada al comienzo de la pandemia de COVID-19, donde los funcionarios de salud pública lidiaron con datos escasos sobre individuos infectados y modelos sofisticados de transmisión de enfermedades para caracterizar la propagación de COVID-19. ^{[ 33 ]}

La regresión lineal se utiliza comúnmente en estudios de campo de la ciencia de la construcción para derivar características de los ocupantes de edificios. En un estudio de campo de confort térmico , los científicos de la construcción suelen preguntar a los ocupantes sobre su sensación térmica, que va de -3 (sensación de frío) a 0 (neutral) a +3 (sensación de calor), y miden los datos de temperatura ambiente de los ocupantes. Se puede calcular una temperatura neutra o de confort a partir de una regresión lineal entre la sensación térmica y la temperatura interior, estableciendo la sensación térmica en cero. Sin embargo, ha habido un debate sobre la dirección de la regresión: regresión de la sensación térmica (eje y) frente a la temperatura interior (eje x) o viceversa: regresión de la temperatura interior (eje y) frente a la sensación térmica (eje x). ^{[ 34 ]}

La regresión lineal desempeña un papel importante en el subcampo de la inteligencia artificial conocido como aprendizaje automático . El algoritmo de regresión lineal es uno de los algoritmos fundamentales de aprendizaje automático supervisado debido a su relativa simplicidad y propiedades bien conocidas. ^{[ 35 ]}