Máquina de vectores de relevancia

En matemáticas , una máquina de vectores de relevancia (RVM) es una técnica de aprendizaje automático que utiliza inferencia bayesiana para obtener soluciones parsimoniosas para regresión y clasificación probabilística . ^{[ 1 ]} Posteriormente se desarrolló un procedimiento de optimización voraz y, por lo tanto, una versión rápida. ^{[ 2 ] [ 3 ]} La RVM tiene una forma funcional idéntica a la máquina de vectores de soporte , pero proporciona clasificación probabilística.

En realidad, es equivalente a un modelo de proceso gaussiano con función de covarianza :

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})}$

dónde${\displaystyle \varphi }$es la función del núcleo (generalmente gaussiana),${\displaystyle \alpha _{j}}$son las varianzas de la distribución a priori en el vector de pesos ${\displaystyle w\sim N(0,\alpha ^{-1}I)}$, y${\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{N}}$son los vectores de entrada del conjunto de entrenamiento . ^{[ 4 ]}

En comparación con las máquinas de vectores de soporte (SVM), la formulación bayesiana de la RVM evita el conjunto de parámetros libres de la SVM (que generalmente requieren optimizaciones posteriores basadas en validación cruzada). Sin embargo, las RVM utilizan un método de aprendizaje similar al de maximización de la esperanza (EM) y, por lo tanto, corren el riesgo de alcanzar mínimos locales. Esto difiere de los algoritmos estándar basados ​​en optimización mínima secuencial (SMO) empleados por las SVM , que garantizan encontrar un óptimo global (del problema convexo).

La máquina de vectores de relevancia fue patentada en Estados Unidos por Microsoft (la patente expiró el 4 de septiembre de 2019). ^{[ 5 ]}

• Truco del kernel
• Escalado de Platt : convierte una SVM en un modelo de probabilidad.