Estadísticas de alta dimensión

En teoría estadística , el campo de la estadística de alta dimensión estudia datos cuya dimensión es mayor (en relación con el número de puntos de datos) que la que se suele considerar en el análisis multivariante clásico . Esta área surgió debido a la aparición de muchos conjuntos de datos modernos en los que la dimensión de los vectores de datos puede ser comparable o incluso mayor que el tamaño de la muestra , por lo que faltaba justificación para el uso de técnicas tradicionales, a menudo basadas en argumentos asintóticos con la dimensión fija a medida que aumentaba el tamaño de la muestra. ^{[ 1 ] [ 2 ]}

Existen varias nociones de análisis de alta dimensión de métodos estadísticos, entre las que se incluyen:

• Resultados no asintóticos que se aplican para un número finito de puntos de datos y un tamaño de dimensión finito, respectivamente.${\displaystyle n,p}$
• La asintótica de Kolmogorov estudia el comportamiento asintótico donde la razón converge a un valor finito específico. ^{[ 3 ]}${\displaystyle n/p}$

El modelo estadístico más básico para la relación entre un vector de covariables y una variable de respuesta es el modelo lineal.${\displaystyle x\in \mathbb {R} ^{p}}$${\displaystyle y\in \mathbb {R} }$

${\displaystyle y=x^{\top }\beta +\epsilon ,}$

donde es un vector de parámetros desconocido y es ruido aleatorio con media cero y varianza . Dadas las respuestas independientes , con las covariables correspondientes , de este modelo, podemos formar el vector de respuesta y la matriz de diseño . Cuando y la matriz de diseño tiene rango de columna completo (es decir, sus columnas son linealmente independientes ), el estimador de mínimos cuadrados ordinarios de es ${\displaystyle \beta \in \mathbb {R} ^{p}}$${\displaystyle \epsilon }$${\displaystyle \sigma ^{2}}$${\displaystyle Y_{1},\ldots ,Y_{n}}$${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle Y=(Y_{1},\ldots,Y_{n})^{\top }}$${\displaystyle X=(x_{1},\ldots ,x_{n})^{\top }\in \mathbb {R} ^{n\times p}}$${\displaystyle n\geq p}$${\displaystyle \beta }$

${\displaystyle {\hat {\beta }}:=(X^{\top }X)^{-1}X^{\top }Y.}$

Cuando , se sabe que . Por lo tanto, es un estimador insesgado de , y el teorema de Gauss-Markov nos dice que es el mejor estimador lineal insesgado . ${\displaystyle \epsilon \sim N(0,\sigma ^{2})}$${\displaystyle {\hat {\beta }}\sim N_{p}{\bigl (}\beta ,\sigma ^{2}(X^{\top }X)^{-1}{\bigr )}}$${\displaystyle {\sombrero {\beta }}}$${\displaystyle \beta }$

Sin embargo, el sobreajuste es un problema cuando tiene una magnitud comparable a : la matriz en la definición de puede volverse mal condicionada , con un pequeño valor propio mínimo . En tales circunstancias, será grande (ya que la traza de una matriz es la suma de sus valores propios). Peor aún, cuando , la matriz es singular . (Véase la Sección 1.2 y el Ejercicio 1.2 en ^{[ 1 ]} .) ${\displaystyle p}$${\displaystyle n}$${\displaystyle X^{\top }X}$${\displaystyle {\hat {\beta }}}$${\displaystyle \mathbb {E} (\|{\hat {\beta }}-\beta \|^{2})=\sigma ^{2}\mathrm {tr} {\bigl (}(X^{\top }X)^{-1}{\bigr )}}$${\displaystyle p>n}$${\displaystyle X^{\top }X}$

Es importante señalar que el deterioro en el rendimiento de la estimación en dimensiones altas observado en el párrafo anterior no se limita al estimador de mínimos cuadrados ordinarios. De hecho, la inferencia estadística en dimensiones altas es intrínsecamente difícil, un fenómeno conocido como la maldición de la dimensionalidad , y se puede demostrar que ningún estimador puede hacerlo mejor en el peor de los casos sin información adicional (véase el Ejemplo 15.10 ^{[ 2 ]} ). Sin embargo, la situación en la estadística de dimensiones altas puede no ser desesperada cuando los datos poseen alguna estructura de dimensión baja. Una suposición común para la regresión lineal de dimensiones altas es que el vector de coeficientes de regresión es disperso , en el sentido de que la mayoría de las coordenadas de son cero. Se han propuesto muchos procedimientos estadísticos, incluido el Lasso , para ajustar modelos lineales de dimensiones altas bajo tales supuestos de dispersión. ${\displaystyle \beta }$

Otro ejemplo de un fenómeno estadístico de alta dimensión se puede encontrar en el problema de la estimación de la matriz de covarianza . Supongamos que observamos , que son extracciones i.i.d. de alguna distribución de media cero con una matriz de covarianza desconocida . Un estimador insesgado natural de es la matriz de covarianza muestral.${\displaystyle X_{1},\ldots ,X_{n}\in \mathbb {R} ^{p}}$${\displaystyle \Sigma \in \mathbb {R} ^{p\times p}}$${\displaystyle \Sigma }$

${\displaystyle {\widehat {\Sigma }}:={\frac {1}{n}}\sum _{i=1}^{n}X_{i}X_{i}^{\top }.}$

En el entorno de baja dimensión donde aumenta y se mantiene fijo, es un estimador consistente de en cualquier norma matricial . Por otro lado, cuando crece con , este resultado de consistencia puede no cumplirse. Como ilustración, supongamos que cada y . Si estimara consistentemente , entonces los autovalores de deberían aproximarse a uno a medida que aumenta. Resulta que este no es el caso en este entorno de alta dimensión. De hecho, los autovalores mayor y menor de se concentran alrededor de y , respectivamente, según la distribución límite derivada por Tracy y Widom , y estos se desvían claramente de los autovalores unitarios de . Se puede obtener más información sobre el comportamiento asintótico de los autovalores de a partir de la ley de Marchenko-Pastur . Desde un punto de vista no asintótico, el autovalor máximo de satisface ${\displaystyle n}$${\displaystyle p}$${\displaystyle {\widehat {\Sigma }}}$${\displaystyle \Sigma }$${\displaystyle p}$${\displaystyle n}$${\displaystyle X_{i}\sim N_{p}(0,I)}$${\displaystyle p/n\rightarrow \alpha \in (0,1)}$${\displaystyle {\widehat {\Sigma }}}$${\displaystyle \Sigma =I}$${\displaystyle {\widehat {\Sigma }}}$${\displaystyle n}$${\displaystyle {\widehat {\Sigma }}}$${\displaystyle (1+{\sqrt {\alpha }})^{2}}$${\displaystyle (1-{\sqrt {\alpha }})^{2}}$${\displaystyle \Sigma }$${\displaystyle {\widehat {\Sigma }}}$${\displaystyle \lambda _{\mathrm {max} }({\widehat {\Sigma }})}$${\displaystyle {\widehat {\Sigma }}}$

${\displaystyle \mathbb {P} \left(\lambda _{\mathrm {max} }({\widehat {\Sigma }})\geq (1+{\sqrt {p/n}}+\delta )^{2}\right)\leq e^{-n\delta ^{2}/2},}$

para cualquier y todas las elecciones de pares de . ^{[ 2 ]}${\displaystyle \delta \geq 0}$${\displaystyle n,p}$

Nuevamente, se requiere una estructura adicional de baja dimensión para una estimación exitosa de la matriz de covarianza en dimensiones altas. Ejemplos de dichas estructuras incluyen la escasez , el bajo rango y la agrupación en bandas . Consideraciones similares se aplican al estimar una matriz de covarianza inversa (matriz de precisión) .

Desde una perspectiva aplicada, la investigación en estadística de alta dimensión se motivó por la constatación de que los avances en la tecnología informática habían aumentado drásticamente la capacidad de recopilar y almacenar datos , y que las técnicas estadísticas tradicionales, como las descritas en los ejemplos anteriores, a menudo no estaban bien equipadas para manejar los desafíos resultantes. Los avances teóricos en el área se remontan al notable resultado de Charles Stein en 1956, ^{[ 4 ]} donde demostró que el estimador usual de una media normal multivariada era inadmisible con respecto a la pérdida de error cuadrático en tres o más dimensiones. De hecho, el estimador de James-Stein ^{[ 5 ]} proporcionó la idea de que en entornos de alta dimensión, se puede obtener un mejor rendimiento de estimación a través de la contracción, que reduce la varianza a costa de introducir una pequeña cantidad de sesgo. Esta compensación entre sesgo y varianza fue explotada más en el contexto de modelos lineales de alta dimensión por Hoerl y Kennard en 1970 con la introducción de la regresión de cresta . ^{[ 6 ]} Otro impulso importante para el campo fue proporcionado por el trabajo de Robert Tibshirani sobre Lasso en 1996, que utilizó regularización para lograr selección de modelo y estimación de parámetros simultáneas en regresión lineal dispersa de alta dimensión. ^{[ 7 ]} Desde entonces, se han propuesto muchos otros estimadores de contracción para explotar diferentes estructuras de baja dimensión en una amplia gama de problemas estadísticos de alta dimensión. ${\displaystyle \ell _{1}}$

Los siguientes son ejemplos de temas que han recibido considerable atención en la literatura sobre estadística de alta dimensión en los últimos años:

• Modelos lineales en altas dimensiones. Los modelos lineales son una de las herramientas más utilizadas en estadística y sus aplicaciones. Por ello, la regresión lineal dispersa es uno de los temas más estudiados en la investigación estadística de alta dimensión. Partiendo de trabajos anteriores sobre regresión de cresta y el método Lasso , se han propuesto y estudiado varios otros estimadores de contracción en este y otros problemas relacionados. Estos incluyen:
  • El selector de Dantzig, que minimiza la correlación máxima covariable-residuo, en lugar de la suma de cuadrados residuales como en Lasso, sujeto a una restricción en los coeficientes. ^{[ 8 ]}${\displaystyle \ell _{1}}$
  • Elastic net , que combina la regularización de Lasso con la regularización de la regresión de cresta para permitir que covariables altamente correlacionadas se seleccionen simultáneamente con coeficientes de regresión similares. ^{[ 9 ]}${\displaystyle \ell _{1}}$${\displaystyle \ell _{2}}$
  • El método Group Lasso permite seleccionar conjuntamente grupos predefinidos de covariables. ^{[ 10 ]}
  • El lasso fusionado , que regulariza la diferencia entre coeficientes cercanos cuando los coeficientes de regresión reflejan relaciones espaciales o temporales, para imponer una estructura constante por partes. ^{[ 11 ]}
• Selección de variables de alta dimensión . Además de estimar el parámetro subyacente en los modelos de regresión, otro tema importante es identificar los coeficientes distintos de cero, ya que estos corresponden a variables necesarias en el modelo final. Cada una de las técnicas enumeradas en el apartado anterior puede utilizarse para este fin, y a veces se combinan con ideas como el submuestreo mediante la selección de estabilidad. ^{[ 12 ] [ 13 ]}
• Estimación de matrices de covarianza y precisión de alta dimensión. Estos problemas se introdujeron anteriormente; véase también la estimación por contracción . Los métodos incluyen estimadores de atenuación ^{[ 14 ]} y el estimador de minimización restringida ^{[ 15 ]} .${\displaystyle \ell _{1}}$
• Análisis de componentes principales dispersos . El análisis de componentes principales es otra técnica que falla en dimensiones altas; más precisamente, bajo condiciones apropiadas, el vector propio principal de la matriz de covarianza muestral es un estimador inconsistente de su contraparte poblacional cuando la razón entre el número de variables y el número de observaciones está acotada lejos de cero. ^{[ 16 ]} Bajo el supuesto de que este vector propio principal es disperso (lo que puede facilitar la interpretabilidad), se puede restablecer la consistencia. ^{[ 17 ]}${\displaystyle p}$${\displaystyle n}$
• Completar matrices . Este tema, que trata sobre la tarea de completar las entradas que faltan en una matriz observada parcialmente, se popularizó en gran parte gracias al premio de Netflix por predecir las calificaciones de los usuarios para las películas.
• Clasificación de alta dimensión. El análisis discriminante lineal no se puede utilizar cuando , porque la matriz de covarianza de la muestra es singular . Se han propuesto enfoques alternativos basados ​​en Naive Bayes , ^{[ 18 ]} selección de características ^{[ 19 ]} y proyecciones aleatorias . ^{[ 20 ]}${\displaystyle p>n}$
• Modelos gráficos para datos de alta dimensión . Los modelos gráficos se utilizan para codificar la estructura de dependencia condicional entre diferentes variables. Bajo el supuesto de gaussianidad, el problema se reduce a estimar una matriz de precisión dispersa, como se mencionó anteriormente.

• Lederer, Johannes (2022). Fundamentos de estadística de alta dimensión . Cham: Springer.
• Giraud, Christophe (2015). Introducción a la estadística de alta dimensión . Filadelfia: Chapman and Hall/CRC.
• Cai, T. Tony; Shen, Xiaotong, eds. (2011). Análisis de datos de alta dimensión . Fronteras de la Estadística. Singapur: World Scientific.
• Bühlmann, Peter ; van de Geer, Sara (2011). Estadística para datos de alta dimensión: métodos, teoría y aplicaciones . Heidelberg; Nueva York: Springer.
• Wainwright, Martin J. (2019). Estadística de alta dimensión: una perspectiva no asintótica . Cambridge, Reino Unido: Cambridge University Press.