perceptrón de núcleo

En el aprendizaje automático , el perceptrón de núcleo es una variante del popular algoritmo de aprendizaje de perceptrón que puede aprender máquinas de núcleo , es decir, clasificadores no lineales que emplean una función de núcleo para calcular la similitud de muestras no vistas con muestras de entrenamiento. El algoritmo se inventó en 1964, ^{[ 1 ]} convirtiéndose así en el primer clasificador de núcleo. ^{[ 2 ]}

Para derivar una versión kernelizada del algoritmo del perceptrón, primero debemos formularlo en forma dual , partiendo de la observación de que el vector de pesos w puede expresarse como una combinación lineal de las n muestras de entrenamiento. La ecuación para el vector de pesos es

${\displaystyle \mathbf {w} =\sum _ {i}^{n}\alpha _ {i}y_ {i} \mathbf {x} _ {i}}$

donde α _i es el número de veces que x _i fue clasificado erróneamente, lo que obliga a una actualización w ← w + y _i x _i . Usando este resultado, podemos formular el algoritmo del perceptrón dual, que recorre las muestras como antes, haciendo predicciones, pero en lugar de almacenar y actualizar un vector de pesos w , actualiza un vector de "contador de errores" α . También debemos reescribir la fórmula de predicción para eliminar w :

${\displaystyle {\begin{aligned}{\hat {y}}&=\operatorname {sgn}(\mathbf {w} ^{\mathsf {T}}\mathbf {x} )\\&=\operatorname {sgn} \left(\sum _{i}^{n}\alpha _{i}y_{i}\mathbf {x} _{i}\right)^{\mathsf {T}}\mathbf {x} \\&=\operatorname {sgn} \sum _{i}^{n}\alpha _{i}y_{i}(\mathbf {x} _{i}\cdot \mathbf {x} )\end{aligned}}}$

Al introducir estas dos ecuaciones en el bucle de entrenamiento, se convierte en el algoritmo del perceptrón dual .

Finalmente, podemos reemplazar el producto escalar en el perceptrón dual por una función kernel arbitraria, para obtener el efecto de un mapa de características Φ sin calcular Φ( x ) explícitamente para ninguna muestra. Al hacer esto, obtenemos el algoritmo del perceptrón kernel: ^{[ 4 ]}

Inicialice α con un vector de ceros de longitud n , el número de muestras de entrenamiento.

Durante un número fijo de iteraciones, o hasta que se cumpla algún criterio de parada:

Para cada ejemplo de entrenamiento x _j , y _j :

Dejar${\displaystyle {\hat {y}}=\operatorname {sgn} \sum _{i}^{n}\alpha _{i}y_{i}K(\mathbf {x} _{i},\mathbf {x} _{j})}$

Si ŷ ≠ y _j , realice una actualización incrementando el contador de errores:

α _j ← α _j + 1

Un problema del perceptrón de núcleo, tal como se presentó anteriormente, es que no aprende máquinas de núcleo dispersas . Inicialmente, todos los α _i son cero, por lo que evaluar la función de decisión para obtener ŷ no requiere ninguna evaluación del núcleo; sin embargo, cada actualización incrementa un único α _i , lo que hace que la evaluación sea cada vez más costosa. Además, cuando el perceptrón de núcleo se utiliza en un entorno en línea , el número de α _i distintos de cero y, por lo tanto, el costo de evaluación, crecen linealmente con el número de ejemplos presentados al algoritmo.

Se propuso la variante forgettron del perceptrón kernel para abordar este problema. Mantiene un conjunto activo de ejemplos con α _i distinto de cero , eliminando ("olvidando") ejemplos del conjunto activo cuando este excede un presupuesto predeterminado y "reduciendo" (disminuyendo el peso de) los ejemplos antiguos a medida que los nuevos se promueven a α _i distinto de cero . ^{[ 5 ]}

Otro problema del perceptrón de núcleo es que no se regulariza , lo que lo hace vulnerable al sobreajuste . El algoritmo de aprendizaje de núcleo en línea NORMA puede considerarse una generalización del algoritmo de perceptrón de núcleo con regularización. ^{[ 6 ]} El algoritmo de optimización mínima secuencial (SMO), utilizado para aprender máquinas de vectores de soporte, también puede considerarse una generalización del perceptrón de núcleo. ^{[ 6 ]}

El algoritmo de perceptrón votado de Freund y Schapire también se extiende al caso kernelizado, ^{[ 7 ]} dando límites de generalización comparables a los de la SVM kernel. ^{[ 2 ]}