clasificador de margen

En el aprendizaje automático (ML), un clasificador de margen es un tipo de modelo de clasificación capaz de proporcionar una distancia asociada al límite de decisión para cada muestra de datos. Por ejemplo, si se utiliza un clasificador lineal , la distancia (normalmente euclidiana , aunque se pueden usar otras) de una muestra al hiperplano separador es el margen de esa muestra.

El concepto de márgenes es importante en varios algoritmos de clasificación de aprendizaje automático, ya que permite acotar el error de generalización de estos clasificadores. Estos límites se suelen representar mediante la dimensión VC . El límite del error de generalización en los algoritmos de boosting y las máquinas de vectores de soporte es especialmente relevante.

El margen para un algoritmo de boosting iterativo dado un conjunto de datos con dos clases se puede definir de la siguiente manera: al clasificador se le da un par de muestras.${\displaystyle (x,y)}$, dónde${\displaystyle x\in X}$es un espacio de dominio y${\displaystyle y\in Y=\{-1,+1\}}$es la etiqueta de la muestra. El algoritmo luego selecciona un clasificador.${\displaystyle h_{j}\in C}$en cada iteración${\displaystyle j}$dónde${\displaystyle C}$es un espacio de posibles clasificadores que predicen valores reales. Esta hipótesis se pondera entonces por${\displaystyle \alpha _{j}\in R}$según lo seleccionado por el algoritmo de boosting. En la iteración${\displaystyle t}$, el margen de una muestra${\displaystyle x}$por lo tanto, puede definirse como

${\displaystyle {\frac {y\sum _{j}^{t}\alpha _{j}h_{j}(x)}{\sum |\alpha _{j}|}}.}$

Según esta definición, el margen es positivo si la muestra está etiquetada correctamente, o negativo si la muestra está etiquetada incorrectamente.

Esta definición puede modificarse y no es la única forma de definir el margen para los algoritmos de boosting. Sin embargo, existen razones por las que esta definición puede resultar atractiva. ^{[ 1 ]}

Muchos clasificadores pueden proporcionar un margen asociado para cada muestra. Sin embargo, solo algunos clasificadores utilizan la información del margen al aprender de un conjunto de datos.

Muchos algoritmos de boosting se basan en el concepto de margen para asignar ponderaciones a las muestras. Si se utiliza una función de pérdida convexa (como en AdaBoost o LogitBoost , por ejemplo), una muestra con un margen mayor recibirá una ponderación menor (o igual) que una muestra con un margen menor. Esto lleva al algoritmo de boosting a concentrar la ponderación en las muestras con márgenes bajos. En los algoritmos no convexos (por ejemplo, BrownBoost ), el margen sigue determinando la ponderación de una muestra, aunque esta ponderación no es monótona con respecto al margen.

Una motivación teórica detrás de los clasificadores de margen es que su error de generalización puede estar limitado por los parámetros del algoritmo y un término de margen. Un ejemplo de tal límite es el algoritmo AdaBoost. ^{[ 1 ]} Sea${\displaystyle S}$ser un conjunto de${\displaystyle m}$puntos de datos, muestreados independientemente al azar de una distribución${\displaystyle D}$. Supongamos que la dimensión VC del clasificador base subyacente es${\displaystyle d}$y${\displaystyle m\geq d\geq 1}$. Entonces, con probabilidad${\displaystyle 1-\delta }$, tenemos el límite:

${\displaystyle P_{D}\left({\frac {y\sum _{j}^{t}\alpha _{j}h_{j}(x)}{\sum |\alpha _{j}|}}\leq 0\right)\leq P_{S}\left({\frac {y\sum _{j}^{t}\alpha _{j}h_{j}(x)}{\sum |\alpha _{j}|}}\leq \theta \right)+O\left({\frac {1}{\sqrt {m}}}{\sqrt {d\log ^{2}(m/d)/\theta ^{2}+\log(1/\delta )}}\right)}$

a pesar de${\displaystyle \theta >0}$.