Regresión isotónica

En estadística y análisis numérico , la regresión isotónica o regresión monótona es la técnica de ajustar una línea de forma libre a una secuencia de observaciones de modo que la línea ajustada no sea decreciente (o no aumente) en todas partes y se encuentre lo más cerca posible de las observaciones.

La regresión isotónica tiene aplicaciones en la inferencia estadística . Por ejemplo, se puede utilizar para ajustar una curva isotónica a las medias de un conjunto de resultados experimentales cuando se espera un aumento de esas medias según un orden particular. Una ventaja de la regresión isotónica es que no está limitada por ninguna forma funcional, como la linealidad impuesta por la regresión lineal , siempre que la función sea monótona creciente.

Otra aplicación es el escalamiento multidimensional no métrico ^[1], donde se busca una incrustación de baja dimensión para los puntos de datos de modo que el orden de las distancias entre los puntos en la incrustación coincida con el orden de disimilitud entre los puntos. La regresión isotónica se utiliza de forma iterativa para ajustar distancias ideales y preservar el orden de disimilitud relativo.

La regresión isotónica también se utiliza en la clasificación probabilística para calibrar las probabilidades previstas de los modelos de aprendizaje automático supervisado . ^[2]

La regresión isotónica para el caso de orden simple con univariado se ha aplicado para estimar relaciones dosis-respuesta continuas en campos como la anestesiología y la toxicología. En términos estrictos, la regresión isotónica solo proporciona estimaciones puntuales en valores observados de La estimación de la curva dosis-respuesta completa sin ningún supuesto adicional se realiza generalmente mediante interpolación lineal entre las estimaciones puntuales. ^[3]${\estilo de visualización x,y}$${\estilo de visualización x.}$

Se ha desarrollado software para calcular la regresión isotónica (monótona) para R , ^{[4] [5] [6]} Stata y Python . ^[7]

Sea un conjunto dado de observaciones, donde y caen en algún conjunto parcialmente ordenado . Por generalidad, a cada observación se le puede dar un peso , aunque es común para todos los . ${\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$${\displaystyle y_{i}\in \mathbb {R} }$$Estilo de visualización x_{i}}$${\displaystyle (x_{i},y_{i})}$${\displaystyle w_{i}\geq 0}$${\displaystyle w_{i}=1}$${\estilo de visualización i}$

La regresión isotónica busca un ajuste de mínimos cuadrados ponderado para todos los , sujeto a la restricción de que siempre que . Esto da el siguiente programa cuadrático (QP) en las variables : ${\displaystyle {\hat {y}}_{i}\approx y_{i}}$${\estilo de visualización i}$${\displaystyle {\hat {y}}_{i}\leq {\hat {y}}_{j}}$$estilo de visualización x_{i}\leq x_{j}}$${\displaystyle {\hat {y}}_{1},\ldots ,{\hat {y}}_{n}}$

${\displaystyle \min \sum _{i=1}^{n}w_{i}({\hat {y}}_{i}-y_{i})^{2}}$sujeto a${\displaystyle {\hat {y}}_{i}\leq {\hat {y}}_{j}{\text{ for all }}(i,j)\in E}$

donde especifica el orden parcial de las entradas observadas (y puede considerarse como el conjunto de aristas de algún grafo acíclico dirigido (dag) con vértices ). Los problemas de esta forma pueden resolverse mediante técnicas de programación cuadrática genéricas. ${\displaystyle E=\{(i,j):x_{i}\leq x_{j}\}}$${\displaystyle x_{i}}$${\displaystyle 1,2,\ldots n}$

En el contexto habitual en el que los valores se encuentran en un conjunto totalmente ordenado como , podemos suponer WLOG que las observaciones se han ordenado de modo que , y tomar . En este caso, un algoritmo iterativo simple para resolver el programa cuadrático es el algoritmo de violadores adyacentes del grupo. Por el contrario, Best y Chakravarti ^[8] estudiaron el problema como un problema de identificación de conjuntos activos y propusieron un algoritmo primal. Estos dos algoritmos pueden considerarse duales entre sí y ambos tienen una complejidad computacional de sobre datos ya ordenados. ^[8]${\displaystyle x_{i}}$${\displaystyle \mathbb {R} }$${\displaystyle x_{1}\leq x_{2}\leq \cdots \leq x_{n}}$${\displaystyle E=\{(i,i+1):1\leq i<n\}}$${\displaystyle O(n)}$

Para completar la tarea de regresión isotónica, podemos elegir cualquier función no decreciente tal que para todo i. Obviamente, cualquier función de este tipo resuelve ${\displaystyle f(x)}$${\displaystyle f(x_{i})={\hat {y}}_{i}}$

${\displaystyle \min _{f}\sum _{i=1}^{n}w_{i}(f(x_{i})-y_{i})^{2}}$sujeto a no decreciente${\displaystyle f}$

y se puede utilizar para predecir los valores de nuevos valores de . Una opción común sería interpolar linealmente entre los puntos , como se ilustra en la figura, lo que produce una función lineal continua por partes: ${\displaystyle y}$${\displaystyle x}$${\displaystyle x_{i}\in \mathbb {R} }$${\displaystyle (x_{i},{\hat {y}}_{i})}$

${\displaystyle f(x)={\begin{cases}{\hat {y}}_{1}&{\text{if }}x\leq x_{1}\\{\hat {y}}_{i}+{\frac {x-x_{i}}{x_{i+1}-x_{i}}}({\hat {y}}_{i+1}-{\hat {y}}_{i})&{\text{if }}x_{i}\leq x\leq x_{i+1}\\{\hat {y}}_{n}&{\text{if }}x\geq x_{n}\end{cases}}}$

Como muestra la primera figura de este artículo, en presencia de violaciones de monotonía la curva interpolada resultante tendrá intervalos planos (constantes). En aplicaciones de dosis-respuesta, se sabe generalmente que no solo es monótona sino también suave . Los intervalos planos son incompatibles con la forma asumida de y se puede demostrar que están sesgados. Oron y Flournoy desarrollaron una mejora simple para tales aplicaciones, llamada regresión isotónica centrada (CIR), y demostraron que reduce sustancialmente el error de estimación tanto para aplicaciones de dosis-respuesta como de búsqueda de dosis. ^[9] Tanto la CIR como la regresión isotónica estándar para el caso univariado, simplemente ordenado, se implementan en el paquete R "cir". ^[4] Este paquete también proporciona estimaciones analíticas del intervalo de confianza. ${\displaystyle f(x)}$${\displaystyle f(x)}$

• Robertson, T.; Wright, FT; Dykstra, RL (1988). Orden de inferencia estadística restringida . Nueva York: Wiley. ISBN 978-0-471-91787-8.
• Barlow, RE; Bartholomew, DJ; Bremner, JM; Brunk, HD (1972). Inferencia estadística bajo restricciones de orden; la teoría y aplicación de la regresión isotónica . Nueva York: Wiley. ISBN 978-0-471-04970-8.
• Shively, TS, Sager, TW, Walker, SG (2009). "Un enfoque bayesiano para la estimación de funciones monótonas no paramétricas". Journal of the Royal Statistical Society, Serie B . 71 (1): 159– 175. CiteSeerX  10.1.1.338.3846 . doi :10.1111/j.1467-9868.2008.00677.x. S2CID  119761196.{{cite journal}}: CS1 maint: multiple names: authors list (link)
• Wu, WB ; Woodroofe, M. ; Mentz, G. (2001). "Regresión isotónica: otra mirada al problema del punto de cambio". Biometrika . 88 (3): 793– 804. doi :10.1093/biomet/88.3.793.