Aprendiendo cuantificación vectorial

En informática , el aprendizaje de cuantificación vectorial ( LVQ ) es un algoritmo de clasificación supervisado basado en prototipos . LVQ es la contraparte supervisada de los sistemas de cuantificación vectorial .

Descripción general

LVQ puede entenderse como un caso especial de una red neuronal artificial ; más precisamente, aplica un enfoque de aprendizaje hebbiano de “el ganador se lo lleva todo” . Es un precursor de los mapas autoorganizados (SOM) y está relacionado con el gas neuronal y el algoritmo de los k vecinos más cercanos (k-NN). LVQ fue inventado por Teuvo Kohonen . ^[1]

Un sistema LVQ se representa mediante prototipos que se definen en el espacio de características de los datos observados. En los algoritmos de entrenamiento de tipo "el ganador se lo lleva todo" se determina, para cada punto de datos, el prototipo que está más cerca de la entrada según una medida de distancia dada. La posición de este denominado prototipo ganador se adapta entonces, es decir, el ganador se acerca si clasifica correctamente el punto de datos o se aleja si lo clasifica incorrectamente. $W=(w(i),...,w(n))$

Una ventaja de LVQ es que crea prototipos que son fáciles de interpretar para los expertos en el respectivo dominio de aplicación. ^[2] Los sistemas LVQ se pueden aplicar a problemas de clasificación de múltiples clases de forma natural.

Una cuestión clave en LVQ es la elección de una medida de distancia o similitud adecuada para el entrenamiento y la clasificación. Recientemente, se han desarrollado técnicas que adaptan una medida de distancia parametrizada durante el entrenamiento del sistema; véase, por ejemplo, (Schneider, Biehl y Hammer, 2009) ^[3] y las referencias allí citadas.

LVQ puede ser una fuente de gran ayuda para clasificar documentos de texto. ^{[ cita requerida ]}

Algoritmo

A continuación se ofrece una descripción informal.
El algoritmo consta de tres pasos básicos. La entrada del algoritmo es:

cuantas neuronas tendrá el sistema (en el caso más simple es igual al número de clases) ${\estilo de visualización M}$
¿Qué peso tiene cada neurona ? ${\vec {w_{i}}}$ $i=0,1,...,M-1$
la etiqueta correspondiente a cada neurona $Estilo de visualización c_{i}$ ${\vec {w_{i}}}$
Qué rápido aprenden las neuronas ${\estilo de visualización \eta}$
y una lista de entrada que contiene todos los vectores cuyas etiquetas ya se conocen (conjunto de entrenamiento). ${\estilo de visualización L}$

El flujo del algoritmo es:

Para la siguiente entrada (con etiqueta ) busque la neurona más cercana , es decir , donde está la métrica utilizada ( euclidiana , etc.). ${\vec {x}}$ ${\estilo de visualización y}$ ${\estilo de visualización L}$ ${\vec {w_{m}}}$
$d({\vec {x}},{\vec {w_{m}}})=\min \limits _{i}{d({\vec {x}},{\vec {w_{i}}})}$ ${\estilo de visualización \,d}$
Actualización . Una mejor explicación es acercarse a la entrada , si y pertenecen a la misma etiqueta y alejarlos si no es así. if (más cerca) o if (más lejos). ${\vec {w_{m}}}$ ${\vec {w_{m}}}$ ${\vec {x}}$ ${\vec {x}}$ ${\vec {w_{m}}}$
${\vec {w_{m}}}\obtiene {\vec {w_{m}}}+\eta \cdot \left({\vec {x}}-{\vec {w_{m}}}\right)$ $c_{m}=y$
${\vec {w_{m}}}\obtiene {\vec {w_{m}}}-\eta \cdot \left({\vec {x}}-{\vec {w_{m}}}\right)$ $c_{m}\neq y$
Mientras queden vectores, vaya al paso 1; de lo contrario, finalice. ${\estilo de visualización L}$

Nota: y son vectores en el espacio de características. ${\vec {w_{i}}}$ ${\vec {x}}$

Referencias

^ T. Kohonen. Mapas autoorganizados. Springer, Berlín, 1997.
^ T. Kohonen (1995), "Aprendizaje de la cuantificación vectorial", en MA Arbib (ed.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, págs. 537–540
^ P. Schneider; B. Hammer; M. Biehl (2009). "Matrices de relevancia adaptativas en el aprendizaje de la cuantificación vectorial". Neural Computation . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi :10.1162/neco.2009.10-08-892. PMID 19635012. S2CID 17306078.