Algoritmo de ajuste inverso

En estadística , el algoritmo de ajuste inverso es un procedimiento iterativo sencillo que se utiliza para ajustar un modelo aditivo generalizado . Fue introducido en 1985 por Leo Breiman y Jerome Friedman junto con los modelos aditivos generalizados. En la mayoría de los casos, el algoritmo de ajuste inverso es equivalente al método de Gauss - Seidel , un algoritmo utilizado para resolver un sistema de ecuaciones lineales .

Los modelos aditivos son una clase de modelos de regresión no paramétricos de la forma:

${\displaystyle Y_{i}=\alpha +\sum _{j=1}^{p}f_{j}(X_{ij})+\epsilon _{i}}$

donde cada${\displaystyle X_{1},X_{2},\ldots ,X_{p}}$es una variable en nuestro${\displaystyle p}$predictor dimensional${\displaystyle X}$, y${\displaystyle Y}$es nuestra variable de resultado.${\displaystyle \epsilon }$representa nuestro error inherente, que se supone que tiene media cero.${\displaystyle f_{j}}$representan funciones suaves no especificadas de un único${\displaystyle X_{j}}$. Dada la flexibilidad en el${\displaystyle f_{j}}$Por lo general, no tenemos una solución única:${\displaystyle \alpha }$queda sin identificar ya que se pueden agregar constantes a cualquiera de las${\displaystyle f_{j}}$y restar este valor de${\displaystyle \alpha }$Es común rectificar esto restringiendo

${\displaystyle \sum _{i=1}^{N}f_{j}(X_{ij})=0}$a pesar de${\displaystyle j}$

partida

${\displaystyle \alpha =1/N\sum _ {i=1}^{N}y_ {i}}$

necesariamente.

El algoritmo de ajuste inverso es entonces:

Inicializar${\displaystyle {\hat {\alpha }}=1/N\sum _{i=1}^{N}y_{i},{\hat {f_{j}}}\equiv 0}$,${\displaystyle \forall j}$Hazlo hasta que${\displaystyle {\sombrero {f_{j}}}}$converge: Para cada predictor j : (a)${\displaystyle {\hat {f_{j}}}\leftarrow {\text{Suave}}[\lbrace y_{i}-{\hat {\alpha }}-\sum _{k\neq j}{\hat {f_{k}}}(x_{ik})\rbrace _{1}^{N}]}$(paso de ajuste posterior) (b)${\displaystyle {\hat {f_{j}}}\leftarrow {\hat {f_{j}}}-1/N\sum _{i=1}^{N}{\hat {f_{j}}}(x_{ij})}$(centrado medio de la función estimada)

dónde${\displaystyle {\text{Suave}}}$es nuestro operador de alisado. Normalmente se elige un alisador de spline cúbico , pero puede ser cualquier otra operación de ajuste apropiada, como por ejemplo:

• regresión polinómica local
• métodos de suavizado de núcleo
• operadores más complejos, como suavizadores de superficie para interacciones de segundo orden y superiores.

En teoría, el paso (b) del algoritmo no es necesario, ya que las estimaciones de la función están restringidas a sumar cero. Sin embargo, debido a problemas numéricos, esto podría convertirse en un problema en la práctica. ^{[ 1 ]}

Si consideramos el problema de minimizar el error cuadrático esperado:

${\displaystyle \min _{\alpha ,f_{j}}\ \mathbb {E} [(Y-\alpha -\sum _ {j=1}^{p}f_{j}(X_{j}))^{2}]}$

Existe una solución única según la teoría de proyecciones dada por:

${\displaystyle f_{i}(X_{i})=\mathbb {E} [Y-\alpha -\sum _{j\neq i}^{p}f_{j}(X_{j})\mid X_{i}]}$

para i  =  1,  2,  ..., p . 

Esto proporciona la interpretación de la matriz:

${\displaystyle {\begin{pmatrix}I&P_{1}&\cdots &P_{1}\\P_{2}&I&\cdots &P_{2}\\\vdots &&\ddots &\vdots \\P_{p}&\cdots &P_{p}&I\end{pmatrix}}{\begin{pmatrix}f_{1}(X_{1})\\f_{2}(X_{2})\\\vdots \\f_{p}(X_{p})\end{pmatrix}}={\begin{pmatrix}P_{1}Y\\P_{2}Y\\\vdots \\P_{p}Y\end{pmatrix}}}$

dónde${\displaystyle P_{i}(\cdot )=\mathbb {E} (\cdot |X_{i})}$. En este contexto podemos imaginar una matriz más suave,${\displaystyle S_{i}}$, que se aproxima a nuestro${\displaystyle P_{i}}$y da una estimación,${\displaystyle S_{i}Y}$, de${\displaystyle \mathbb {E} (Y|X)}$

${\displaystyle {\begin{pmatrix}I&S_{1}&\cdots &S_{1}\\S_{2}&I&\cdots &S_{2}\\\vdots &&\ddots &\vdots \\S_{p}&\cdots &S_{p}&I\end{pmatrix}}{\begin{pmatrix}f_{1}\\f_{2}\\\vdots \\f_{p}\end{pmatrix}}={\begin{pmatrix}S_{1}Y\\S_{2}Y\\\vdots \\S_{p}Y\end{pmatrix}}}$

o en forma abreviada

${\displaystyle {\hat {S}}f=QY\,}$

Es inviable calcular una solución exacta para esto para np grande , por lo que se utiliza la técnica iterativa de ajuste inverso. Tomamos estimaciones iniciales.${\displaystyle f_{j}^{(0)}}$y actualizar cada${\displaystyle f_{j}^{(\ell )}}$a su vez, ser el ajuste suavizado para los residuos de todos los demás:

${\displaystyle {\hat {f_{j}}}^{(\ell )}\leftarrow {\text{Suave}}[\lbrace y_{i}-{\hat {\alpha }}-\sum _{k\neq j}{\hat {f_{k}}}(x_{ik})\rbrace _{1}^{N}]}$

Al observar la forma abreviada , es fácil ver que el algoritmo de ajuste inverso es equivalente al método de Gauss - Seidel para operadores de suavizado lineal S.

A continuación, ^{[ 2 ]} podemos formular explícitamente el algoritmo de ajuste inverso para el caso bidimensional. Tenemos:

${\displaystyle f_{1}=S_{1}(Y-f_{2}),f_{2}=S_{2}(Y-f_{1})}$

Si denotamos${\displaystyle {\hat {f}}_{1}^{(i)}}$como la estimación de${\displaystyle f_{1}}$En el i -ésimo paso de actualización, los pasos de ajuste posterior son:

${\displaystyle {\hat {f}}_{1}^{(i)}=S_{1}[Y-{\hat {f}}_{2}^{(i-1)}],{\hat {f}}_{2}^{(i)}=S_{2}[Y-{\hat {f}}_{1}^{(i)}]}$

Por inducción obtenemos

${\displaystyle {\hat {f}}_{1}^{(i)}=Y-\sum _{\alpha =0}^{i-1}(S_{1}S_{2})^{\alpha }(I-S_{1})Y-(S_{1}S_{2})^{i-1}S_{1}{\hat {f}}_{2}^{(0)}}$

y

${\displaystyle {\hat {f}}_{2}^{(i)}=S_{2}\sum _{\alpha =0}^{i-1}(S_{1}S_{2})^{\alpha }(I-S_{1})Y+S_{2}(S_{1}S_{2})^{i-1}S_{1}{\hat {f}}_{2}^{(0)}}$

Si establecemos${\displaystyle {\hat {f}}_{2}^{(0)}=0}$entonces obtenemos

${\displaystyle {\hat {f}}_{1}^{(i)}=Y-S_{2}^{-1}{\hat {f}}_{2}^{(i)}=[I-\sum _{\alpha =0}^{i-1}(S_{1}S_{2})^{\alpha }(I-S_{1})]Y}$

${\displaystyle {\hat {f}}_{2}^{(i)}=[S_{2}\sum _{\alpha =0}^{i-1}(S_{1}S_{2})^{\alpha }(I-S_{1})]Y}$

Donde hemos resuelto${\displaystyle {\hat {f}}_{1}^{(i)}}$desenchufándolo directamente de${\displaystyle f_{2}=S_{2}(Y-f_{1})}$.

Tenemos convergencia si${\displaystyle \|S_{1}S_{2}\|<1}$En este caso, dejar${\displaystyle {\hat {f}}_{1}^{(i)},{\hat {f}}_{2}^{(i)}{\xrightarrow {}}{\hat {f}}_{1}^{(\infty )},{\hat {f}}_{2}^{(\infty )}}$:

${\displaystyle {\hat {f}}_{1}^{(\infty )}=Y-S_{2}^{-1}{\hat {f}}_{2}^{(\infty )}=Y-(I-S_{1}S_{2})^{-1}(I-S_{1})Y}$

${\displaystyle {\hat {f}}_{2}^{(\infty )}=S_{2}(I-S_{1}S_{2})^{-1}(I-S_{1})Y}$

Podemos comprobar que esta es una solución al problema, es decir que${\displaystyle {\hat {f}}_{1}^{(i)}}$y${\displaystyle {\hat {f}}_{2}^{(i)}}$converger a${\displaystyle f_{1}}$y${\displaystyle f_{2}}$de forma correspondiente, sustituyendo estas expresiones en las ecuaciones originales.

La elección del momento para detener el algoritmo es arbitraria y es difícil saber a priori cuánto tiempo llevará alcanzar un umbral de convergencia específico. Además, el modelo final depende del orden en que se introducen las variables predictoras.${\displaystyle X_{i}}$están en forma.

Además, la solución encontrada por el procedimiento de ajuste inverso no es única. Si${\displaystyle b}$es un vector tal que${\displaystyle {\hat {S}}b=0}$desde arriba, entonces si${\displaystyle {\hat {f}}}$Si es una solución, entonces también lo es.${\displaystyle {\hat {f}}+\alpha b}$también es una solución para cualquier${\displaystyle \alpha \in \mathbb {R} }$Una modificación del algoritmo de ajuste inverso que involucre proyecciones sobre el espacio propio de S puede solucionar este problema.

Podemos modificar el algoritmo de ajuste inverso para que sea más fácil proporcionar una solución única.${\displaystyle {\mathcal {V}}_{1}(S_{i})}$Sea el espacio generado por todos los autovectores de S _i que corresponden al autovalor 1. Entonces, cualquier b que satisfaga${\displaystyle {\hat {S}}b=0}$tiene${\displaystyle b_{i}\in {\mathcal {V}}_{1}(S_{i})\forall i=1,\dots ,p}$y${\displaystyle \sum _{i=1}^{p}b_{i}=0.}$Ahora, si tomamos${\displaystyle A}$ser una matriz que se proyecta ortogonalmente sobre${\displaystyle {\mathcal {V}}_{1}(S_{1})+\dots +{\mathcal {V}}_{1}(S_{p})}$, obtenemos el siguiente algoritmo de ajuste inverso modificado:

Inicializar${\displaystyle {\hat {\alpha }}=1/N\sum _{1}^{N}y_{i},{\hat {f_{j}}}\equiv 0}$,${\displaystyle \forall i,j}$,${\displaystyle {\hat {f_{+}}}=\alpha +{\hat {f_{1}}}+\dots +{\hat {f_{p}}}}$Hazlo hasta que${\displaystyle {\hat {f_{j}}}}$converger: Regreso${\displaystyle y-{\hat {f_{+}}}}$en el espacio${\displaystyle {\mathcal {V}}_{1}(S_{i})+\dots +{\mathcal {V}}_{1}(S_{p})}$, configuración${\displaystyle a=A(Y-{\hat {f_{+}}})}$Para cada predictor j : Aplicar actualización de ajuste de espalda a${\displaystyle (Y-a)}$utilizando el operador de suavizado${\displaystyle (I-A_{i})S_{i}}$, lo que arroja nuevas estimaciones para${\displaystyle {\hat {f_{j}}}}$

• Breiman, L. y Friedman, JH (1985). "Estimación de transformaciones óptimas para regresión múltiple y correlaciones (con discusión)". Journal of the American Statistical Association . 80 (391): 580– 619. doi : 10.2307/2288473 . JSTOR 2288473 . 
• Hastie, TJ y Tibshirani, RJ (1990). "Modelos aditivos generalizados". Monografías sobre estadística y probabilidad aplicada . 43 .
• Härdle, Wolfgang; et  al. (9 de junio de 2004). "Backfitting" . Archivado del original el 10 de mayo de 2015. Recuperado el 19 de agosto de 2015 .

• Paquete R para el ajuste retroactivo de GAM
• Paquete R para la adaptación de la parte trasera de BRUTO