Estadísticas sólidas

Las estadísticas robustas son aquellas que mantienen sus propiedades incluso si los supuestos de distribución subyacentes son incorrectos. Se han desarrollado métodos estadísticos robustos para muchos problemas comunes, como la estimación de parámetros de localización , escala y regresión . Una motivación es producir métodos estadísticos que no se vean indebidamente afectados por valores atípicos . Otra motivación es proporcionar métodos con buen rendimiento cuando existen pequeñas desviaciones de una distribución paramétrica . Por ejemplo, los métodos robustos funcionan bien para mezclas de dos distribuciones normales con diferentes desviaciones estándar ; bajo este modelo, los métodos no robustos, como la prueba t, funcionan mal. ^{[ 1 ] [ 2 ]}

La estadística robusta busca proporcionar métodos que emulen los métodos estadísticos más populares, pero que no se vean afectados indebidamente por valores atípicos u otras pequeñas desviaciones de los supuestos del modelo . En estadística, los métodos de estimación clásicos se basan en gran medida en supuestos que a menudo no se cumplen en la práctica. En particular, se suele asumir que los errores de los datos siguen una distribución normal, al menos de forma aproximada, o que se puede confiar en el teorema del límite central para obtener estimaciones con distribución normal. Desafortunadamente, cuando hay valores atípicos en los datos, los estimadores clásicos suelen tener un rendimiento muy deficiente, según se evalúa utilizando el punto de ruptura y la función de influencia que se describen a continuación.

El efecto práctico de los problemas observados en la función de influencia puede estudiarse empíricamente examinando la distribución muestral de los estimadores propuestos bajo un modelo de mezcla , donde se incorpora una pequeña cantidad de contaminación (a menudo, entre el 1 % y el 5 % es suficiente). Por ejemplo, se puede utilizar una mezcla de un 95 % de una distribución normal y un 5 % de una distribución normal con la misma media pero con una desviación estándar significativamente mayor (que representa los valores atípicos).

La estadística paramétrica robusta puede proceder de dos maneras:

• diseñando estimadores de manera que se logre un comportamiento preseleccionado de la función de influencia.
• sustituyendo los estimadores que son óptimos bajo el supuesto de una distribución normal por estimadores que son óptimos para, o al menos derivados para, otras distribuciones; por ejemplo, utilizando la distribución t con pocos grados de libertad (alta curtosis) o con una mezcla de dos o más distribuciones.

Se han estudiado estimaciones robustas para los siguientes problemas:

• estimación de parámetros de ubicación
• estimación de parámetros de escala
• estimación de coeficientes de regresión ^{[ 2 ]}
• estimación de estados del modelo en modelos expresados ​​en forma de espacio de estados , para lo cual el método estándar es equivalente a un filtro de Kalman .

Existen diversas definiciones de " estadístico robusto ". Estrictamente hablando, un estadístico robusto es resistente a errores en los resultados, producidos por desviaciones de los supuestos ^{[ 3 ]} (por ejemplo, de normalidad). Esto significa que, si los supuestos se cumplen solo de forma aproximada, el estimador robusto seguirá teniendo una eficiencia razonable y un sesgo razonablemente pequeño , además de ser asintóticamente insesgado , es decir, con un sesgo que tiende a cero a medida que el tamaño de la muestra tiende a infinito.

Por lo general, el caso más importante es la robustez de la distribución : robustez ante el incumplimiento de los supuestos sobre la distribución subyacente de los datos. ^{[ 3 ]} Los procedimientos estadísticos clásicos suelen ser sensibles a las "colas largas" (por ejemplo, cuando la distribución de los datos tiene colas más largas que la distribución normal supuesta). Esto implica que se verán fuertemente afectados por la presencia de valores atípicos en los datos, y las estimaciones que producen pueden estar muy distorsionadas si hay valores atípicos extremos en los datos, en comparación con lo que serían si los valores atípicos no estuvieran incluidos en los datos.

Por el contrario, los estimadores más robustos que no son tan sensibles a las distorsiones de la distribución, como la cola larga, también son resistentes a la presencia de valores atípicos. Por lo tanto, en el contexto de la estadística robusta, robustez distribucional y resistencia a los valores atípicos son prácticamente sinónimos. ^{[ 3 ]} Para una perspectiva sobre la investigación en estadística robusta hasta el año 2000, véase Portnoy y He (2000) .

Algunos expertos prefieren el término « estadística resistente » para referirse a la robustez distribucional, y reservan «robustez» para la robustez no distribucional, por ejemplo, la robustez ante la violación de supuestos sobre el modelo de probabilidad o el estimador; sin embargo, este uso es minoritario. Es común utilizar simplemente «robustez» para referirse a la «robustez distribucional».

Al considerar la robustez de un estimador ante la presencia de valores atípicos, resulta útil probar qué sucede cuando se agrega un valor atípico extremo al conjunto de datos, y probar qué sucede cuando un valor atípico extremo reemplaza uno de los puntos de datos existentes, y luego considerar el efecto de múltiples adiciones o reemplazos.

La media no es una medida robusta de tendencia central . Si el conjunto de datos es, por ejemplo, {2, 3, 5, 6, 9}, al añadir otro dato con valor -1000 o +1000, la media resultante será muy diferente de la media de los datos originales. Del mismo modo, si sustituimos uno de los valores por un dato con valor -1000 o +1000, la media resultante también será muy diferente de la media de los datos originales.

La mediana es una medida robusta de tendencia central . Si tomamos el mismo conjunto de datos {2,3,5,6,9} y agregamos un dato con valor -1000 o +1000, la mediana cambiará ligeramente, pero seguirá siendo similar a la mediana de los datos originales. Si reemplazamos uno de los valores con un dato de valor -1000 o +1000, la mediana resultante seguirá siendo similar a la mediana de los datos originales.

Descrita en términos de puntos de ruptura , la mediana tiene un punto de ruptura del 50%, lo que significa que la mitad de los puntos deben ser valores atípicos antes de que la mediana pueda salirse del rango de los valores no atípicos, mientras que la media tiene un punto de ruptura de 0, ya que una sola observación grande puede desviarla.

La desviación absoluta mediana y el rango intercuartil son medidas robustas de dispersión estadística , mientras que la desviación estándar y el rango no lo son.

Los estimadores recortados y los estimadores winsorizados son métodos generales para aumentar la robustez de las estadísticas. Los estimadores L constituyen una clase general de estadísticas simples, a menudo robustas, mientras que los estimadores M son una clase general de estadísticas robustas y actualmente son la solución preferida, aunque su cálculo puede ser bastante complejo.

Las herramientas básicas utilizadas para describir y medir la robustez son el punto de ruptura , la función de influencia y la curva de sensibilidad .

Función de influencia y curva de sensibilidad

En lugar de basarnos únicamente en los datos, podríamos utilizar la distribución de las variables aleatorias. El enfoque es bastante diferente al del párrafo anterior. Lo que intentamos hacer ahora es observar qué sucede con un estimador cuando modificamos ligeramente la distribución de los datos: este asume una distribución y mide la sensibilidad a los cambios en dicha distribución. Por el contrario, la influencia empírica asume un conjunto de muestras y mide la sensibilidad a los cambios en las muestras. ^{[ 8 ]}

Dejar${\displaystyle A}$sea ​​un subconjunto convexo del conjunto de todas las medidas con signo finitas en${\displaystyle \Sigma }$Queremos estimar el parámetro${\displaystyle \theta \in \Theta }$de una distribución${\displaystyle F}$en${\displaystyle A}$. Deja que el funcional${\displaystyle T:A\to \Gamma }$sea ​​el valor asintótico de alguna secuencia de estimadores${\displaystyle (T_{n})_{n\in \mathbb {N} }}$Supondremos que este funcional es consistente en Fisher , es decir${\displaystyle \forall \theta \in \Theta ,T(F_{\theta })=\theta }$Esto significa que en el modelo${\displaystyle F}$, la secuencia del estimador mide asintóticamente la cantidad correcta.

Dejar${\displaystyle G}$ser alguna distribución en${\displaystyle A}$¿Qué sucede cuando los datos no se ajustan al modelo?${\displaystyle F}$exactamente pero otra, ligeramente diferente, "yendo hacia"${\displaystyle G}$¿

Estamos analizando: $${\displaystyle dT_{GF}(F)=\lim _{t\to 0^{+}}{\frac {T(tG+(1-t)F)-T(F)}{t}},}$$

que es el derivado de Gateaux unilateral de${\displaystyle T}$en${\displaystyle F}$, en dirección a${\displaystyle GF}$.

Dejar${\displaystyle x\in {\mathcal {X}}}$.${\displaystyle \Delta _{x}}$es la medida de probabilidad que da masa 1 a${\displaystyle \{x\}}$. Elegimos${\displaystyle G=\Delta _{x}}$La función de influencia se define entonces de la siguiente manera:

$${\displaystyle IF(x;T;F):=\lim _{t\to 0^{+}}{\frac {T(t\Delta _{x}+(1-t)F)-T(F)}{t}}.}$$

Describe el efecto de una contaminación infinitesimal en el punto${\displaystyle x}$en la estimación que buscamos, estandarizada por la masa${\displaystyle t}$de la contaminación (el sesgo asintótico causado por la contaminación en las observaciones). Para un estimador robusto, queremos una función de influencia acotada, es decir, una que no tienda al infinito cuando x se vuelve arbitrariamente grande.

La función de influencia empírica utiliza la función de distribución empírica.${\displaystyle {\hat {F}}}$en lugar de la función de distribución${\displaystyle F}$, haciendo uso del principio de inserción .

(El contexto matemático de este párrafo se explica en la sección sobre funciones de influencia empírica).

Históricamente, se propusieron varios enfoques para la estimación robusta, incluidos los estimadores R y los estimadores L. Sin embargo, los estimadores M parecen dominar actualmente el campo debido a su generalidad, su potencial para alcanzar altos puntos de ruptura y su eficiencia relativamente alta. Véase Huber (1981) .

Los estimadores M no son inherentemente robustos. Sin embargo, pueden diseñarse para lograr propiedades favorables, incluida la robustez. Los estimadores M son una generalización de los estimadores de máxima verosimilitud (MLE) que se determinan maximizando${\textstyle \prod _{i=1}^{n}f(x_{i})}$o, equivalentemente, minimizando${\textstyle \sum _{i=1}^{n}-\log f(x_{i})}$En 1964, Huber propuso generalizar esto a la minimización de${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$, dónde${\displaystyle \rho }$es alguna función. Por lo tanto, los MLE son un caso especial de estimadores M (de ahí el nombre: estimadores de " tipo de máxima verosimilitud").

Minimizar${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$a menudo se puede hacer diferenciando${\displaystyle \rho }$y solución${\textstyle \sum _{i=1}^{n}\psi (x_{i})=0}$, dónde${\textstyle \psi (x)={\frac {d\rho (x)}{dx}}}$(si${\displaystyle \rho }$tiene un derivado).

Varias opciones de${\displaystyle \rho }$y${\displaystyle \psi }$Se han propuesto. Las dos figuras siguientes muestran cuatro${\displaystyle \rho }$funciones y sus correspondientes${\displaystyle \psi }$funciones.

Para errores cuadráticos,${\displaystyle \rho (x)}$aumenta a un ritmo acelerado, mientras que para los errores absolutos, aumenta a un ritmo constante. Cuando se utiliza Winsorización, se introduce una mezcla de estos dos efectos: para valores pequeños de x,${\displaystyle \rho }$aumenta al cuadrado, pero una vez que se alcanza el umbral elegido (1,5 en este ejemplo), la tasa de aumento se vuelve constante. Este estimador winsorizado también se conoce como la función de pérdida de Huber .

La función biponderada de Tukey (también conocida como bicuadrada) se comporta inicialmente de forma similar a la función de error cuadrático, pero para errores mayores, la función se atenúa.

Los estimadores M no necesariamente se relacionan con una función de densidad y, por lo tanto, no son completamente paramétricos. Los enfoques totalmente paramétricos para el modelado y la inferencia robustos, tanto bayesianos como de máxima verosimilitud, suelen trabajar con distribuciones de cola pesada, como la distribución t de Student .

Para la distribución t con${\displaystyle \nu }$grados de libertad, se puede demostrar que

$${\displaystyle \psi (x)={\frac {x}{x^{2}+\nu }}.}$$

Para${\displaystyle \nu =1}$La distribución t es equivalente a la distribución de Cauchy. Los grados de libertad a veces se conocen como el parámetro de curtosis . Es el parámetro que controla cuán pesadas son las colas. En principio,${\displaystyle \nu }$puede estimarse a partir de los datos de la misma manera que cualquier otro parámetro. En la práctica, es común que haya múltiples máximos locales cuando${\displaystyle \nu }$Se permite que varíe. Por lo tanto, es común fijar${\displaystyle \nu }$en un valor alrededor de 4 o 6. La siguiente figura muestra el${\displaystyle \psi }$-función para 4 valores diferentes de${\displaystyle \nu }$.

Una cantidad pivotal es una función de los datos, cuya distribución poblacional subyacente pertenece a una familia paramétrica, y que no depende de los valores de los parámetros. Un estadístico auxiliar es una función de este tipo que también es un estadístico, es decir, que se calcula únicamente en función de los datos. Estas funciones son robustas a los parámetros, en el sentido de que son independientes de sus valores, pero no al modelo, ya que presuponen un modelo subyacente (familia paramétrica). De hecho, estas funciones suelen ser muy sensibles a las violaciones de los supuestos del modelo. Por lo tanto, los estadísticos de prueba , frecuentemente construidos en función de estas funciones para no ser sensibles a los supuestos sobre los parámetros, siguen siendo muy sensibles a los supuestos del modelo.

Reemplazar los datos faltantes se llama imputación . Si hay relativamente pocos puntos faltantes, existen algunos modelos que se pueden usar para estimar valores para completar la serie, como reemplazar los valores faltantes con la media o la mediana de los datos. La regresión lineal simple también se puede usar para estimar los valores faltantes. ^{[ 12 ]} Además, los valores atípicos a veces se pueden acomodar en los datos mediante el uso de medias recortadas, otros estimadores de escala distintos de la desviación estándar (por ejemplo, MAD) y la winsorización. ^{[ 13 ]} En los cálculos de una media recortada, se elimina un porcentaje fijo de datos de cada extremo de un conjunto de datos ordenado, eliminando así los valores atípicos. Luego, la media se calcula usando los datos restantes. La winsorización implica acomodar un valor atípico reemplazándolo con el siguiente valor más alto o el siguiente valor más bajo, según corresponda. ^{[ 14 ]}

Sin embargo, utilizar este tipo de modelos para predecir valores faltantes o atípicos en una serie temporal larga es difícil y a menudo poco fiable, especialmente si el número de valores a rellenar es relativamente alto en comparación con la longitud total del registro. La precisión de la estimación depende de la calidad y representatividad del modelo y de la duración del período de valores faltantes. ^{[ 15 ]} Cuando se asume una evolución dinámica en una serie, el problema de los puntos de datos faltantes se convierte en un ejercicio de análisis multivariante (en lugar del enfoque univariante de la mayoría de los métodos tradicionales de estimación de valores faltantes y atípicos). En tales casos, un modelo multivariante será más representativo que uno univariante para predecir valores faltantes. El mapa autoorganizado de Kohonen (KSOM) ofrece un modelo multivariante simple y robusto para el análisis de datos, proporcionando así buenas posibilidades para estimar valores faltantes, teniendo en cuenta su relación o correlación con otras variables pertinentes en el registro de datos. ^{[ 14 ]}

Los filtros de Kalman estándar no son robustos ante valores atípicos. Para ello, Ting, Theodorou y Schaal (2007) demostraron recientemente que una modificación del teorema de Masreliez puede abordar los valores atípicos.

Un enfoque común para manejar valores atípicos en el análisis de datos consiste en realizar primero la detección de valores atípicos, seguida de un método de estimación eficiente (por ejemplo, el de mínimos cuadrados). Si bien este enfoque suele ser útil, es necesario tener en cuenta dos desafíos. Primero, un método de detección de valores atípicos que se basa en un ajuste inicial no robusto puede sufrir el efecto de enmascaramiento, es decir, un grupo de valores atípicos puede enmascararse entre sí y escapar a la detección. ^{[ 16 ]} Segundo, si se utiliza un ajuste inicial con alta tasa de fallos para la detección de valores atípicos, el análisis posterior podría heredar algunas de las ineficiencias del estimador inicial. ^{[ 17 ]}

Aunque las funciones de influencia tienen una larga trayectoria en estadística, su uso en el aprendizaje automático no se ha generalizado debido a diversos desafíos. Uno de los principales obstáculos radica en que las funciones de influencia tradicionales se basan en costosos cálculos de derivadas de segundo orden y presuponen la diferenciabilidad y convexidad del modelo. Estas suposiciones resultan limitantes, especialmente en el aprendizaje automático moderno, donde los modelos suelen ser no diferenciables, no convexos y operan en espacios de alta dimensionalidad.

Koh y Liang (2017) abordaron estos desafíos introduciendo métodos para aproximar eficientemente las funciones de influencia utilizando técnicas de optimización de segundo orden, como las desarrolladas por Pearlmutter (1994) , Martens (2010) y Agarwal, Bullins y Hazan (2017) . Su enfoque sigue siendo efectivo incluso cuando se degradan los supuestos de diferenciabilidad y convexidad, lo que permite utilizar las funciones de influencia en el contexto de modelos de aprendizaje profundo no convexos. Demostraron que las funciones de influencia son una herramienta potente y versátil que puede aplicarse a diversas tareas en el aprendizaje automático, entre ellas:

• Comprender el comportamiento del modelo: Las funciones de influencia ayudan a identificar qué puntos de entrenamiento son los más "responsables" de una predicción determinada, lo que permite comprender cómo los modelos generalizan a partir de los datos de entrenamiento.

• Depuración de modelos: Las funciones de influencia pueden ayudar a identificar discrepancias entre dominios (cuando la distribución de los datos de entrenamiento no coincide con la de los datos de prueba), lo que puede provocar que modelos con alta precisión de entrenamiento tengan un rendimiento deficiente en los datos de prueba, como demostraron Ben-David et al. (2010) . Al revelar qué ejemplos de entrenamiento contribuyen en mayor medida a los errores, los desarrolladores pueden corregir estas discrepancias.

• Detección de errores en conjuntos de datos: Las etiquetas ruidosas o corruptas son comunes en los datos reales, especialmente cuando se obtienen mediante crowdsourcing o se atacan con adversarios. Las funciones de influencia permiten a los expertos humanos priorizar la revisión de solo los ejemplos más relevantes del conjunto de entrenamiento, lo que facilita la detección y corrección eficiente de errores.

• Ataques adversarios: Los modelos que dependen en gran medida de un número reducido de puntos de entrenamiento influyentes son vulnerables a perturbaciones adversarias. Estas entradas perturbadas pueden alterar significativamente las predicciones y plantear riesgos de seguridad en los sistemas de aprendizaje automático donde los atacantes tienen acceso a los datos de entrenamiento (véase aprendizaje automático adversario ).

Las contribuciones de Koh y Liang han abierto la puerta al uso de funciones de influencia en diversas aplicaciones del aprendizaje automático, desde la interpretabilidad hasta la seguridad, lo que supone un avance significativo en su aplicabilidad.

• Intervalos de confianza robustos
• Regresión robusta
• Regresión ponderada unitaria

• Introducción de Peter Rousseeuw a la estadística robusta univariada. (archivado aquí ).
• Los completos apuntes del curso de estadística de Brian Ripley .
• Los apuntes del curso de Nick Fieller sobre Modelado y Computación Estadística, archivados el 3 de marzo de 2016 en la Wayback Machine, contienen material sobre regresión robusta.
• El sitio web de David Olive contiene apuntes de curso sobre estadística robusta y algunos conjuntos de datos.
• Experimentos en línea utilizando R y JSXGraph