Pérdida de Huber

En estadística , la función de pérdida de Huber es una función de pérdida utilizada en regresión robusta , que es menos sensible a los valores atípicos en los datos que la pérdida de error cuadrático . En ocasiones, también se utiliza una variante para clasificación.

La función de pérdida de Huber describe la penalización incurrida por un procedimiento de estimación f . Huber (1964) define la función de pérdida por partes mediante ^{[ 1 ].}$${\displaystyle L_{\delta }(a)={\begin{cases}{\frac {1}{2}}{a^{2}}&{\text{para }}|a|\leq \delta ,\\[4pt]\delta \cdot \left(|a|-{\frac {1}{2}}\delta \right),&{\text{en otro caso.}}\end{cases}}}$$

Esta función es cuadrática para valores pequeños de a , y lineal para valores grandes, con valores y pendientes iguales de las diferentes secciones en los dos puntos donde${\displaystyle |a|=\delta }$La variable a se refiere a menudo a los residuos, es decir, a la diferencia entre los valores observados y predichos.${\displaystyle a=yf(x)}$, por lo que el primero se puede ampliar a ^{[ 2 ]}

$${\displaystyle L_{\delta }(y,f(x))={\begin{cases}{\frac {1}{2}}{\left(yf(x)\right)}^{2}&{\text{para }}\left|yf(x)\right|\leq \delta ,\\[4pt]\delta \ \cdot \left(\left|yf(x)\right|-{\frac {1}{2}}\delta \right),&{\text{en otro caso.}}\end{cases}}}$$

La función de pérdida de Huber es la convolución de la función de valor absoluto con la función rectangular , escalada y trasladada. De esta forma, suaviza la esquina de la primera en el origen.

Dos funciones de pérdida muy utilizadas son la pérdida al cuadrado ,${\displaystyle L(a)=a^{2}}$y la pérdida absoluta ,${\displaystyle L(a)=|a|}$La función de pérdida cuadrática da como resultado un estimador insesgado de media aritmética , y la función de pérdida de valor absoluto da como resultado un estimador insesgado de mediana (en el caso unidimensional, y un estimador insesgado de mediana geométrica para el caso multidimensional). La pérdida cuadrática tiene la desventaja de que tiende a estar dominada por valores atípicos, cuando se suma sobre un conjunto de${\displaystyle a}$de (como en${\textstyle \sum _ {i=1}^{n}L(a_{i})}$), la media de la muestra está demasiado influenciada por unos pocos valores particularmente grandes${\displaystyle a}$valores -cuando la distribución tiene cola pesada: en términos de teoría de estimación , la eficiencia relativa asintótica de la media es baja para distribuciones con cola pesada. ^{[ 3 ]}

Como se definió anteriormente, la función de pérdida de Huber es fuertemente convexa en un entorno uniforme de su mínimo.${\displaystyle a=0}$; en el límite de este vecindario uniforme, la función de pérdida de Huber tiene una extensión diferenciable a una función afín en puntos${\displaystyle a=-\delta }$y${\displaystyle a=\delta }$Estas propiedades le permiten combinar gran parte de la sensibilidad del estimador de la media insesgado y de varianza mínima (que utiliza la función de pérdida cuadrática) y la robustez del estimador insesgado de la mediana (que utiliza la función de valor absoluto).

La función de pérdida Pseudo-Huber puede utilizarse como una aproximación suave de la función de pérdida Huber. Combina las mejores propiedades de la pérdida L2 al cuadrado y la pérdida L1 absoluta al ser fuertemente convexa cuando está cerca del objetivo/mínimo y menos pronunciada para valores extremos. La escala en la que la función de pérdida Pseudo-Huber transita de la pérdida L2 para valores cercanos al mínimo a la pérdida L1 para valores extremos y la pendiente en valores extremos se pueden controlar mediante la${\displaystyle \delta }$valor. La función de pérdida Pseudo-Huber asegura que las derivadas sean continuas para todos los grados. Se define como ^{[ 4 ] [ 5 ]}

$${\displaystyle L_{\delta }(a)=\delta ^{2}\left({\sqrt {1+(a/\delta )^{2}}}-1\right).}$$

Por lo tanto, esta función se aproxima a${\displaystyle a^{2}/2}$para valores pequeños de${\displaystyle a}$y se aproxima a una línea recta con pendiente${\displaystyle \delta }$para valores grandes de${\displaystyle a}$.

Si bien la anterior es la forma más común, también existen otras aproximaciones suaves de la función de pérdida de Huber. ^{[ 6 ]}

Para fines de clasificación , a veces se utiliza una variante de la pérdida de Huber llamada Huber modificada . Dada una predicción${\displaystyle f(x)}$(una puntuación de clasificador de valor real) y una etiqueta de clase binaria verdadera${\displaystyle y\in \{+1,-1\}}$, la pérdida de Huber modificada se define como ^{[ 7 ]}

$${\displaystyle L(y,f(x))={\begin{cases}\max(0,1-y\,f(x))^{2}&{\text{for }}\,\,y\,f(x)>-1,\\[4pt]-4y\,f(x)&{\text{otherwise.}}\end{cases}}}$$

El término${\displaystyle \max(0,1-y\,f(x))}$es la pérdida de bisagra utilizada por las máquinas de vectores de soporte ; la pérdida de bisagra suavizada cuadráticamente es una generalización de${\displaystyle L}$. ^{[ 7 ]}

La función de pérdida de Huber se utiliza en estadística robusta , estimación M y modelado aditivo . ^{[ 8 ]}

• Winsorización
• Regresión robusta
• Estimador M
• Comparación visual de diferentes estimadores M