Estimador de Theil-Sen

En estadística no paramétrica , el estimador de Theil-Sen es un método para ajustar de forma robusta una línea a puntos de muestra en el plano (una forma de regresión lineal simple ) eligiendo la mediana de las pendientes de todas las líneas que pasan por pares de puntos. También se le ha llamado estimador de pendiente de Sen , ^{[ 1 ] [ 2 ]} selección de pendiente , ^{[ 3 ] [ 4 ]} método de mediana única , ^{[ 5 ]} método de ajuste de línea robusta de Kendall , [ ^{6 ] y} línea robusta de Kendall-Theil . ^{[ 7 ]} Recibe su nombre de Henri Theil y Pranab K. Sen , quienes publicaron artículos sobre este método en 1950 y 1968 respectivamente, ^{[ 8 ]} y de Maurice Kendall debido a su relación con el coeficiente de correlación de rangos tau de Kendall . ^{[ 9 ]}

La regresión de Theil-Sen tiene varias ventajas sobre la regresión de mínimos cuadrados ordinarios . Es insensible a los valores atípicos . Puede utilizarse para pruebas de significancia incluso cuando los residuos no están distribuidos normalmente. ^{[ 10 ]} Puede ser significativamente más precisa que la regresión lineal simple no robusta (mínimos cuadrados) para datos asimétricos y heterocedásticos , y compite bien con los mínimos cuadrados incluso para datos distribuidos normalmente en términos de potencia estadística . ^{[ 11 ]} Se la ha llamado "la técnica no paramétrica más popular para estimar una tendencia lineal". ^{[ 2 ]} Existen algoritmos rápidos para calcular eficientemente los parámetros.

Según la definición de Theil (1950) , el estimador de Theil-Sen de un conjunto de puntos bidimensionales ( x _i , y _i ) es la mediana m de las pendientes ( y _j − y _i )/( x _j − x _i ) determinadas por todos los pares de puntos de muestra. Sen (1968) extendió esta definición para abordar el caso en que dos puntos de datos tienen la misma coordenada x . En la definición de Sen, se toma la mediana de las pendientes definidas solo a partir de pares de puntos con coordenadas x distintas. ^{[ 8 ]}

Una vez determinada la pendiente m , se puede determinar una línea a partir de los puntos de muestra estableciendo la intersección con el eje y b como la mediana de los valores y _i − mx _i . La línea de ajuste es entonces la línea y = mx + b con coeficientes m y b en forma pendiente-intersección . ^{[ 12 ]} Como observó Sen, esta elección de pendiente hace que el coeficiente de correlación de rangos tau de Kendall sea aproximadamente cero, cuando se utiliza para comparar los valores x _i con sus residuos asociados y _i − mx _i − b . Intuitivamente, esto sugiere que la distancia a la que pasa la línea de ajuste por encima o por debajo de un punto de datos no está correlacionada con si ese punto está a la izquierda o a la derecha del conjunto de datos. La elección de b no afecta al coeficiente de Kendall, pero hace que el residuo mediano sea aproximadamente cero; es decir, la línea de ajuste pasa por encima y por debajo de un número igual de puntos. ^{[ 9 ]}

Un intervalo de confianza para la estimación de la pendiente puede determinarse como el intervalo que contiene el 95% central de las pendientes de las líneas determinadas por pares de puntos ^{[ 13 ]} y puede estimarse rápidamente muestreando pares de puntos y determinando el intervalo del 95% de las pendientes muestreadas. Según simulaciones, aproximadamente 600 pares de muestras son suficientes para determinar un intervalo de confianza preciso. ^{[ 11 ]}

Una variación del estimador de Theil-Sen, la regresión mediana repetida de Siegel (1982) , determina para cada punto de muestra ( x _i , y _i ) , la mediana m _i de las pendientes ( y _j − y _i )/( x _j − x _i ) de las rectas que pasan por ese punto, y luego determina el estimador global como la mediana de estas medianas. Puede tolerar un mayor número de valores atípicos que el estimador de Theil-Sen, pero los algoritmos conocidos para calcularlo de manera eficiente son más complicados y menos prácticos. ^{[ 14 ]}

Otra variante empareja los puntos de muestra según el rango de sus coordenadas x : el punto con la coordenada más pequeña se empareja con el primer punto por encima de la coordenada mediana, el segundo punto más pequeño se empareja con el siguiente punto por encima de la mediana, y así sucesivamente. Luego calcula la mediana de las pendientes de las líneas determinadas por estos pares de puntos, ganando velocidad al examinar significativamente menos pares que el estimador de Theil-Sen. ^{[ 15 ]}

También se han estudiado variaciones del estimador de Theil-Sen basadas en medianas ponderadas , basándose en el principio de que los pares de muestras cuyas coordenadas x difieren más tienen más probabilidades de tener una pendiente precisa y, por lo tanto, deberían recibir un peso mayor. ^{[ 16 ]}

Para datos estacionales, puede ser apropiado suavizar las variaciones estacionales en los datos considerando solo pares de puntos de muestra que pertenezcan al mismo mes o a la misma estación del año, y encontrar la mediana de las pendientes de las líneas determinadas por este conjunto más restrictivo de pares. ^{[ 17 ]}

El estimador de Theil-Sen es un estimador insesgado de la pendiente verdadera en la regresión lineal simple . ^{[ 18 ]} Para muchas distribuciones del error de respuesta , este estimador tiene una alta eficiencia asintótica en relación con la estimación por mínimos cuadrados . ^{[ 19 ]} Los estimadores con baja eficiencia requieren más observaciones independientes para alcanzar la misma varianza muestral que los estimadores insesgados eficientes.

El estimador de Theil-Sen es más robusto que el estimador de mínimos cuadrados porque es mucho menos sensible a los valores atípicos . Tiene un punto de ruptura de

${\displaystyle 1-{\frac {1}{\sqrt {2}}}\approx 29.3\%,}$

lo que significa que puede tolerar una corrupción arbitraria de hasta el 29,3 % de los puntos de datos de entrada sin que se degrade su precisión. ^{[ 12 ]} Sin embargo, el punto de ruptura disminuye para generalizaciones de mayor dimensión del método. ^{[ 20 ]} Un punto de ruptura más alto, del 50 %, se cumple para un algoritmo de ajuste de línea robusto diferente, el estimador de mediana repetida de Siegel. ^{[ 12 ]}

El estimador de Theil-Sen es equivariante bajo cualquier transformación lineal de su variable de respuesta, lo que significa que transformar primero los datos y luego ajustar una línea, o ajustar primero una línea y luego transformarla de la misma manera, producen el mismo resultado. ^{[ 21 ]} Sin embargo, no es equivariante bajo transformaciones afines tanto de la variable predictora como de la variable de respuesta. ^{[ 20 ]}

La pendiente mediana de un conjunto de n puntos de muestra se puede calcular con exactitud calculando todas las ^O ( n² ) líneas que pasan por pares de puntos y luego aplicando un algoritmo de búsqueda de medianas de tiempo lineal . Alternativamente, se puede estimar muestreando pares de puntos. Este problema es equivalente, bajo dualidad proyectiva , al problema de encontrar el punto de intersección en una disposición de líneas que tiene la coordenada x mediana entre todos esos puntos de intersección. ^{[ 22 ]}

El problema de realizar la selección de pendientes de forma exacta pero más eficiente que el algoritmo de fuerza bruta de tiempo cuadrático ha sido ampliamente estudiado en geometría computacional . Se conocen varios métodos diferentes para calcular el estimador de Theil-Sen de forma exacta en tiempo O ( n log n ) , ya sea de forma determinista ^{[ 3 ]} o utilizando algoritmos aleatorios . ^{[ 4 ]} El estimador de mediana repetida de Siegel también se puede construir en el mismo límite de tiempo. ^{[ 23 ]} En modelos de computación en los que las coordenadas de entrada son enteros y en los que las operaciones bit a bit sobre enteros toman tiempo constante, el estimador de Theil-Sen se puede construir aún más rápidamente, en tiempo esperado aleatorio.${\displaystyle O(n{\sqrt {\log n}})}$. ^{[ 24 ]}

Un estimador para la pendiente con un rango aproximadamente mediano, que tiene el mismo punto de ruptura que el estimador de Theil-Sen, puede mantenerse en el modelo de flujo de datos (en el que los puntos de muestra se procesan uno por uno mediante un algoritmo que no tiene suficiente almacenamiento persistente para representar todo el conjunto de datos) utilizando un algoritmo basado en ε-nets . ^{[ 25 ]}

La estimación de Theil-Sen se ha aplicado a la astronomía debido a su capacidad para manejar modelos de regresión censurados . ^{[ 29 ]} En biofísica , Fernandes y Leblanc (2005) sugieren su uso para aplicaciones de teledetección como la estimación del área foliar a partir de datos de reflectancia debido a su "simplicidad en el cálculo, estimaciones analíticas de intervalos de confianza, robustez a valores atípicos, supuestos comprobables con respecto a los residuos y... información a priori limitada con respecto a los errores de medición". ^{[ 30 ]} Para medir datos ambientales estacionales como la calidad del agua , se ha propuesto una variante ajustada estacionalmente del estimador de Theil-Sen como preferible a la estimación de mínimos cuadrados debido a su alta precisión en presencia de datos asimétricos. ^{[ 17 ]} En ciencias de la computación , el método de Theil-Sen se ha utilizado para estimar tendencias en el envejecimiento del software . ^{[ 31 ]} En meteorología y climatología , se ha utilizado para estimar las tendencias a largo plazo de ocurrencia y velocidad del viento. ^{[ 32 ]}

• Método de mediana-mediana
• Dilución de regresión , para otro problema que afecta a las pendientes de tendencia estimadas.