Minimización de riesgos estructurales

La minimización del riesgo estructural (SRM) es un principio inductivo que se utiliza en el aprendizaje automático . Habitualmente, en el aprendizaje automático, se debe seleccionar un modelo generalizado a partir de un conjunto finito de datos, con el consiguiente problema de sobreajuste : el modelo se adapta demasiado a las particularidades del conjunto de entrenamiento y se generaliza mal a los nuevos datos. El principio SRM aborda este problema equilibrando la complejidad del modelo frente a su éxito a la hora de ajustarse a los datos de entrenamiento. Este principio fue establecido por primera vez en un libro de 1974 ^[1] de Vladimir Vapnik y Alexey Chervonenkis y utiliza la dimensión VC .

En términos prácticos, la minimización del riesgo estructural se implementa minimizando , donde es el error de entrenamiento, la función se denomina función de regularización y es una constante. se elige de modo que tome valores grandes en parámetros que pertenecen a subconjuntos de alta capacidad del espacio de parámetros. La minimización, en efecto, limita la capacidad de los subconjuntos accesibles del espacio de parámetros, controlando así el equilibrio entre minimizar el error de entrenamiento y minimizar la brecha esperada entre el error de entrenamiento y el error de prueba. ^[2]${\displaystyle E_{tren}+\beta H(W)}$${\displaystyle E_{tren}}$${\displaystyle H(W)}$${\estilo de visualización \beta}$${\displaystyle H(W)}$${\estilo de visualización W}$${\displaystyle H(W)}$

El problema de SRM se puede formular en términos de datos. Dados n puntos de datos que constan de datos x y etiquetas y, el objetivo suele expresarse de la siguiente manera: ${\displaystyle J(\theta )}$

${\displaystyle J(\theta )={\frac {1}{2n}}\sum _{i=1}^{n}(h_{\theta }(x^{i})-y^{i})^{2}+{\frac {\lambda }{2}}\sum _{j=1}^{d}\theta _{j}^{2}}$

El primer término es el término de error cuadrático medio (MSE) entre el valor del modelo aprendido, , y las etiquetas dadas . Este término es el error de entrenamiento, , que se discutió anteriormente. El segundo término, coloca un valor previo sobre los pesos, para favorecer la escasez y penalizar los pesos más grandes. El coeficiente de compensación, , es un hiperparámetro que otorga más o menos importancia al término de regularización. Un valor más grande fomenta pesos más dispersos a expensas de un MSE más óptimo, y un valor más pequeño relaja la regularización permitiendo que el modelo se ajuste a los datos. Tenga en cuenta que a medida que los pesos se vuelven cero, y como , el modelo generalmente sufre de sobreajuste. $estilo de visualización h_{\theta}$${\estilo de visualización y}$${\displaystyle E_{tren}}$${\estilo de visualización \lambda}$${\estilo de visualización \lambda}$${\estilo de visualización \lambda}$${\displaystyle \lambda \to \infty }$${\displaystyle \lambda \a 0}$

• Teoría de Vapnik-Chervonenkis
• Máquinas de vectores de soporte
• Selección de modelo
• Aprendizaje de Occam
• Minimización del riesgo empírico
• Regresión de cresta
• Regularización (matemáticas)

• Minimización de riesgos estructurales en el sitio web de máquinas de vectores de soporte.