Medidas de escala robustas

En estadística, las medidas de escala robustas son métodos que cuantifican la dispersión estadística en una muestra de datos numéricos , a la vez que resisten los valores atípicos . Estas se diferencian de las medidas de escala convencionales o no robustas, como la desviación estándar muestral , que se ven muy afectadas por los valores atípicos.

Las estadísticas robustas más comunes son el rango intercuartil (RIC) y la desviación absoluta mediana (DAM). También se han desarrollado estimadores robustos alternativos, como los basados ​​en diferencias por pares y la mediana de varianza ponderada.

Estas estadísticas robustas se utilizan particularmente como estimadores de un parámetro de escala y presentan las ventajas de robustez y eficiencia superior en datos contaminados, a costa de una eficiencia inferior en datos limpios de distribuciones como la distribución normal. Para ilustrar la robustez, la desviación estándar puede hacerse arbitrariamente grande aumentando exactamente una observación (tiene un punto de ruptura de 0, ya que puede contaminarse con un solo punto), un defecto que no comparten las estadísticas robustas.

Cabe señalar que, en ámbitos como las finanzas, la suposición de normalidad puede conllevar una exposición excesiva al riesgo, y que puede ser necesaria una mayor parametrización para mitigar los riesgos que presenta la curtosis anormal .

Las medidas de escala robustas pueden utilizarse como estimadores de propiedades de la población, ya sea para la estimación de parámetros o como estimadores de su propio valor esperado .

Por ejemplo, se utilizan estimadores robustos de escala para estimar la desviación estándar poblacional , generalmente multiplicándola por un factor de escala para convertirla en un estimador insesgado y consistente ; véase parámetro de escala: estimación . Por ejemplo, el rango intercuartil puede convertirse en un estimador insesgado y consistente para la desviación estándar poblacional si los datos siguen una distribución normal y la medida se divide por: $${\displaystyle 1.349\approx 2{\sqrt {2}}\,\operatorname {erf} ^{-1}\!\left({\tfrac {1}{2}}\right)}$$ dónde${\displaystyle \operatorname {erf} ^{-1}}$es la función de error inversa.

En otras situaciones, resulta más conveniente considerar una medida de escala robusta como un estimador de su propio valor esperado , interpretado como una alternativa a la desviación estándar poblacional como medida de escala. Por ejemplo, la desviación absoluta mediana (DAM) de una muestra de una distribución de Cauchy estándar es un estimador de la DAM poblacional, que en este caso es 1, mientras que la varianza poblacional no existe.

Los estimadores robustos suelen tener una eficiencia estadística inferior a la de los estimadores convencionales para datos extraídos de una distribución sin valores atípicos, como una distribución normal. Sin embargo, presentan una eficiencia superior para datos extraídos de una distribución mixta o de una distribución con colas pesadas , para las cuales no se deben utilizar medidas no robustas como la desviación estándar.

Por ejemplo, para datos extraídos de la distribución normal, la desviación absoluta mediana es un 37 % tan eficiente como la desviación estándar de la muestra, mientras que el estimador de Rousseeuw-Croux Q _n es un 88 % tan eficiente como la desviación estándar de la muestra.

Una de las medidas de escala más comunes y robustas es el rango intercuartil (RIC), que es la diferencia entre el percentil 75 y el percentil 25 de una muestra; este es el rango recortado al 25 % , un ejemplo de estimador L. También se pueden utilizar otros rangos recortados, como el rango interdecil (rango recortado al 10 %).

Para una distribución gaussiana, el IQR está relacionado con${\displaystyle \sigma }$, la desviación estándar , como: ^{[ 1 ]}$${\displaystyle \sigma \approx 0.7413\operatorname {IQR} =\operatorname {IQR} /1.349}$$

Otra medida de escala robusta de uso común es la desviación absoluta mediana (DAM), la mediana de los valores absolutos de las diferencias entre los valores de los datos y la mediana general del conjunto de datos; para una distribución gaussiana, la DAM está relacionada con${\displaystyle \sigma }$como: ^{[ 2 ]}$${\displaystyle \sigma \approx 1.4826\operatorname {MAD} \approx \operatorname {MAD} /0.6745}$$ Para obtener más detalles, visite la sección sobre la relación con la desviación estándar en el artículo principal sobre MAD.

Rousseeuw y Croux ^{[ 3 ]} propusieron 2 alternativas a la desviación absoluta mediana, motivadas por dos de sus debilidades:

1. Es ineficiente (37% de eficiencia) en distribuciones gaussianas .
2. Calcula una estadística simétrica sobre una estimación de ubicación, por lo que no tiene en cuenta la asimetría .

Proponen dos estadísticas alternativas basadas en diferencias por pares: S _n y Q _n.

S _n se define como: $${\displaystyle {\begin{aligned}\sigma \approx S_{n}&:=1.1926\,\operatorname {med} _{i}\left(\operatorname {med} _{j}(\,\left|x_{i}-x_{j}\right|\,)\right),\\\end{aligned}}}$$Q _n se define como: ^{[ 4 ]}

$${\displaystyle \sigma \approx Q_{n}:=2.2219\;{\bigl \{}|x_{i}-x_{j}|:i<j{\bigr \}}_{(k)}}$$

Dónde:

• El factor 2,2219 es una constante de consistencia,
• El conjunto${\displaystyle \{\,|x_{i}-x_{j}|:i<j\,\}}$consiste en todas las diferencias absolutas por pares entre las observaciones.${\displaystyle x_{i}}$y${\displaystyle x_{j}}$, y
• El subíndice${\displaystyle (k)}$representa el${\displaystyle k}$estadística de orden n, o${\displaystyle k\approx {\binom {n}{2}}/4}$

Estos se pueden calcular en un tiempo de O ( n log n ) y un espacio de O ( n ).

Ninguno de estos métodos requiere estimación de ubicación , ya que se basan únicamente en diferencias entre valores. Ambos son más eficientes que el MAD bajo una distribución gaussiana: S _n tiene una eficiencia del 58%, mientras que Q _n tiene una eficiencia del 82%.

Para una muestra de una distribución normal, S _n es aproximadamente insesgado para la desviación estándar de la población incluso con tamaños de muestra muy modestos (<1% de sesgo para n  =  10).

Para una muestra grande de una distribución normal, 2,22 Q _n es aproximadamente insesgado para la desviación estándar de la población. Para muestras pequeñas o moderadas, el valor esperado de Q _n bajo una distribución normal depende notablemente del tamaño de la muestra, por lo que se utilizan factores de corrección para muestras finitas (obtenidos de una tabla o de simulaciones) para calibrar la escala de Q _n .

Al igual que S _n y Q _n , la varianza media biponderada está diseñada para ser robusta sin sacrificar demasiada eficiencia. Se define como: ^{[ 5 ]}

$${\displaystyle {\frac {n\displaystyle \sum _{i=1}^{n}\left(x_{i}-Q\right)^{2}\left(1-u_{i}^{2}\right)^{4}I(|u_{i}|<1)}{\left(\displaystyle \sum _{i}\left(1-u_{i}^{2}\right)\left(1-5u_{i}^{2}\right)I(|u_{i}|<1)\right)^{2}}},}$$

donde I es la función indicadora , Q es la mediana muestral de X _i y

$${\displaystyle u_{i}={\frac {x_{i}-Q}{9\cdot {\rm {MAD}}}}.}$$

Su raíz cuadrada es un estimador robusto de la escala, ya que los puntos de datos se ponderan a la baja a medida que aumenta su distancia de la mediana, y los puntos que se encuentran a más de 9 unidades MAD de la mediana no tienen ninguna influencia.

La eficiencia del método biweight se ha estimado en un 84,7 % para conjuntos de 20 muestras extraídas de distribuciones generadas sintéticamente con curtosis adicional ("colas alargadas"). Para distribuciones gaussianas, su eficiencia se ha estimado en un 98,2 %. ^{[ 6 ]}

Mizera y Müller extendieron el enfoque ofrecido por Rousseeuw y Hubert al proponer un estimador robusto basado en profundidad para la ubicación y la escala simultáneamente, llamado profundidad de ubicación-escala. Se define de la siguiente manera: ^{[ 7 ]}

$${\displaystyle d(\mu ,\sigma )={\begin{cases}\displaystyle \inf _{u\neq 0}\#{\Bigl \{}i:(u_{1},u_{2}){\Bigl (}{\begin{array}{c}\psi (\tau _{i})\\\chi (\tau _{i})-1\end{array}}{\Bigr )}\geq 0{\Bigr \}},&{\text{if }}\sigma >0,\\[1.5ex]\#\{i:y_{i}=\mu \},&{\text{if }}\sigma =0.\end{cases}}}$$

Dónde:

• ${\displaystyle \tau _{i}}$es una abreviatura de${\displaystyle (y_{i}-\mu )/\sigma }$,
• ${\displaystyle \psi }$y${\displaystyle \chi }$depender de una densidad fija${\displaystyle f}$

Sugieren que la versión más manejable de la profundidad de escala de localización es la basada en la distribución t de Student.

Un intervalo de confianza robusto es una modificación robusta de los intervalos de confianza , lo que significa que se modifican los cálculos no robustos del intervalo de confianza para que no se vean gravemente afectados por observaciones atípicas o anómalas en un conjunto de datos.

• Errores estándar consistentes con la heterocedasticidad
• Rango intercuartil
• Desviación absoluta media