Regresión de ángulo mínimo

En estadística , la regresión de ángulo mínimo (LARS) es un algoritmo para ajustar modelos de regresión lineal a datos de alta dimensión, desarrollado por Bradley Efron , Trevor Hastie , Iain Johnstone y Robert Tibshirani . ^{[ 1 ]}

Supongamos que esperamos que una variable de respuesta esté determinada por una combinación lineal de un subconjunto de posibles covariables. En ese caso, el algoritmo LARS proporciona un método para estimar qué variables incluir, así como sus coeficientes.

En lugar de proporcionar un vector como resultado, la solución LARS consiste en una curva que representa la solución para cada valor de la norma L1 del vector de parámetros. El algoritmo es similar a la regresión escalonada hacia adelante , pero en lugar de incluir variables en cada paso, los parámetros estimados se incrementan en una dirección equiangular a la correlación de cada uno con el residuo.

Las ventajas del método LARS son:

1. Su velocidad de cálculo es la misma que la de la selección hacia adelante.
2. Produce una ruta de solución lineal por tramos completa, lo cual resulta útil en la validación cruzada o en intentos similares para ajustar el modelo.
3. Si dos variables están correlacionadas casi por igual con la respuesta, entonces sus coeficientes deberían aumentar aproximadamente al mismo ritmo. Por lo tanto, el algoritmo se comporta como cabría esperar intuitivamente y, además, es más estable.
4. Se puede modificar fácilmente para generar algoritmos eficientes para otros métodos que produzcan resultados similares, como el lasso y la regresión por etapas hacia adelante.
5. Es eficaz en contextos donde p  ≫ n (es decir, cuando el número de predictores p es significativamente mayor que el número de puntos n ) ^{[ 2 ].} 

Las desventajas del método LARS incluyen:

1. Con cualquier cantidad de ruido en la variable dependiente y con variables independientes multicolineales de alta dimensión , no hay razón para creer que las variables seleccionadas tendrán una alta probabilidad de ser las variables causales subyacentes reales. Este problema no es exclusivo de LARS, ya que es un problema general con los enfoques de selección de variables que buscan encontrar componentes deterministas subyacentes. Sin embargo, debido a que LARS se basa en un reajuste iterativo de los residuos, parece ser particularmente sensible a los efectos del ruido. Weisberg discute este problema en detalle en la sección de discusión del artículo de Efron et al. (2004) Annals of Statistics. ^{[ 3 ]} Weisberg proporciona un ejemplo empírico basado en el reanálisis de datos originalmente utilizados para validar LARS que muestra que la selección de variables parece tener problemas con variables altamente correlacionadas.
2. Dado que casi todos los datos de alta dimensión del mundo real, por pura casualidad, exhibirán cierto grado de colinealidad entre al menos algunas variables, el problema que tiene LARS con las variables correlacionadas puede limitar su aplicación a datos de alta dimensión.

Los pasos básicos del algoritmo de regresión de ángulo mínimo son:

• Comience con todos los coeficientes${\displaystyle \beta }$igual a cero.
• Encuentra el predictor${\displaystyle x_{j}}$más correlacionado con${\displaystyle y}$.
• Aumentar el coeficiente${\displaystyle \beta _{j}}$en la dirección del signo de su correlación con${\displaystyle y}$. Tomar residuos${\displaystyle r=y-{\sombrero {y}}}$en el camino. Deténgase cuando algún otro predictor${\displaystyle x_{k}}$tiene tanta correlación con${\displaystyle r}$como${\displaystyle x_{j}}$tiene.
• Aumentar (${\displaystyle \beta _{j}}$,${\displaystyle \beta _{k}}$) en su dirección conjunta de mínimos cuadrados, hasta que algún otro predictor${\displaystyle x_{m}}$tiene tanta correlación con el residuo${\displaystyle r}$.
• Aumentar (${\displaystyle \beta _{j}}$,${\displaystyle \beta _{k}}$,${\displaystyle \beta _{m}}$) en su dirección conjunta de mínimos cuadrados, hasta que algún otro predictor${\displaystyle x_{n}}$tiene tanta correlación con el residuo${\displaystyle r}$.
• Continuar hasta que: todos los predictores estén en el modelo. ^{[ 4 ]}

La regresión de ángulo mínimo se implementa en R mediante el paquete lars , en Python con el paquete scikit-learn y en SAS mediante el procedimiento GLMSELECT .

• estadística de alta dimensión
• Lasso (estadística)
• Análisis de regresión
• Selección de modelos