Regresión del núcleo

En estadística , la regresión kernel es una técnica no paramétrica para estimar la esperanza condicional de una variable aleatoria . El objetivo es encontrar una relación no lineal entre un par de variables aleatorias X e Y.

En cualquier regresión no paramétrica , la esperanza condicional de una variable relativa a una variable puede escribirse: ${\estilo de visualización Y}$${\estilo de visualización X}$

${\displaystyle \operatorname {E} (Y\mid X)=m(X)}$

donde es una función desconocida. ${\estilo de visualización m}$

Nadaraya y Watson , ambos en 1964, propusieron estimar como un promedio ponderado localmente, utilizando un kernel como función de ponderación. ^{[1] [2] [3]} El estimador de Nadaraya-Watson es: ${\estilo de visualización m}$

${\displaystyle {\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}}$

donde es un núcleo con un ancho de banda tal que es de orden al menos 1, es decir . ${\displaystyle K_{h}(t)={\frac {1}{h}}K\left({\frac {t}{h}}\right)}$${\estilo de visualización h}$${\displaystyle K(\cdot )}$${\displaystyle \int _{-\infty }^{\infty }uK(u)\,du=0}$

Comenzando con la definición de expectativa condicional ,

${\displaystyle \operatorname {E} (Y\mid X=x)=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy}$

Estimamos las distribuciones conjuntas f ( x , y ) y f ( x ) utilizando la estimación de densidad de kernel con un kernel K :

${\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),}$

${\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i}),}$

Obtenemos:

${\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int y{\frac {{\hat {f}}(x,y)}{{\hat {f}}(x)}}\,dy,\\[6pt]&=\int y{\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}}$

que es el estimador de Nadaraya-Watson.

${\displaystyle {\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}}$

¿Dónde está el ancho de banda (o parámetro de suavizado)? ${\displaystyle h}$

${\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}}$

donde ^[4]${\displaystyle s_{i}={\frac {x_{i-1}+x_{i}}{2}}.}$

Este ejemplo se basa en datos de salarios de Canadá de corte transversal que consisten en una muestra aleatoria tomada de las cintas de uso público del censo canadiense de 1971 para individuos varones con educación común (grado 13). Hay 205 observaciones en total. ^{[ cita requerida ]}

La figura de la derecha muestra la función de regresión estimada utilizando un kernel gaussiano de segundo orden junto con límites de variabilidad asintótica.

Los siguientes comandos del lenguaje de programación R utilizan la npreg()función para lograr un suavizado óptimo y crear la figura que se muestra arriba. Estos comandos se pueden ingresar en el símbolo del sistema mediante cortar y pegar.

install.packages ( "np" ) 
biblioteca ( np ) # biblioteca no paramétrica datos ( cps71 ) adjuntar ( cps71 ) 



m <- npreg ( logaritmo ~ edad )  

gráfico ( m , gráfico.errores.método = "asintótico" , gráfico.errores.estilo = "banda" , ylim = c ( 11 , 15.2 )) 
     
      

puntos ( edad , salario logarítmico , cex = . 25 ) desvincular ( cps71 )  

Según David Salsburg , los algoritmos utilizados en la regresión del núcleo se desarrollaron de forma independiente y se utilizaron en sistemas difusos : "Al llegar a tener casi exactamente el mismo algoritmo informático, los sistemas difusos y las regresiones basadas en la densidad del núcleo parecen haber sido desarrollados de forma completamente independiente unos de otros". ^[5]

• Paquete de programas matemáticos GNU Octave
• Julia : KernelEstimator.jl
• MATLAB : Una caja de herramientas MATLAB gratuita con implementación de regresión kernel, estimación de densidad kernel, estimación kernel de función de riesgo y muchas otras está disponible en estas páginas (esta caja de herramientas es parte del libro ^[6] ).
• Python : la KernelRegclase para tipos de datos mixtos en el statsmodels.nonparametricsubpaquete (incluye otras clases relacionadas con la densidad del kernel), el paquete kernel_regression como una extensión de scikit-learn (ineficiente en términos de memoria, útil solo para pequeños conjuntos de datos)
• R : la función npregdel paquete np puede realizar regresión del núcleo. ^{[7] [8]}
• Stata : npregress, kernreg2

• Suavizado de núcleos
• Regresión local

• Henderson, Daniel J.; Parmeter, Christopher F. (2015). Econometría no paramétrica aplicada. Cambridge University Press. ISBN 978-1-107-01025-3.
• Li, Qi; Racine, Jeffrey S. (2007). Econometría no paramétrica: teoría y práctica. Princeton University Press. ISBN 978-0-691-12161-1.
• Pagan, A.; Ullah, A. (1999). Econometría no paramétrica . Cambridge University Press. ISBN 0-521-35564-8.
• Racine, Jeffrey S. (2019). Introducción a la teoría y práctica avanzadas de la econometría no paramétrica: un enfoque replicable utilizando R. Cambridge University Press. ISBN 9781108483407.
• Simonoff, Jeffrey S. (1996). Métodos de suavizado en estadística. Springer. ISBN 0-387-94716-7.

• Regresión de kernel adaptativa a escala (con software Matlab).
• Tutorial de regresión de kernel utilizando hoja de cálculo (con Microsoft Excel ).
• Una demostración de regresión del kernel en línea Requiere .NET 3.0 o posterior.
• Regresión del núcleo con selección automática de ancho de banda (con Python)