Clasificación multiclase

En el aprendizaje automático y la clasificación estadística , la clasificación multiclase o multinomial consiste en clasificar instancias en una de tres o más clases (clasificar instancias en una de dos clases se denomina clasificación binaria ). Por ejemplo, decidir si una imagen muestra un plátano, un melocotón, una naranja o una manzana es un problema de clasificación multiclase, con cuatro clases posibles (plátano, melocotón, naranja, manzana), mientras que decidir si una imagen contiene una manzana o no es un problema de clasificación binaria (con las dos clases posibles: manzana, no manzana).

Si bien muchos algoritmos de clasificación (por ejemplo, árboles de decisión , k-NN , redes neuronales y regresión logística multinomial ) permiten naturalmente el uso de más de dos clases, algunos son por naturaleza algoritmos binarios (por ejemplo, la máquina de vectores de soporte binaria clásica ) y requieren estrategias de descomposición como uno contra todos, ^{[ 1 ]} uno contra uno, ^{[ 2 ]} o ECOC ^{[ 3 ]} para resolver problemas multiclase.

La clasificación multiclase no debe confundirse con la clasificación multietiqueta , donde se deben predecir múltiples etiquetas para cada instancia (por ejemplo, predecir que una imagen contiene tanto una manzana como una naranja, en el ejemplo anterior).

Modelos multiclase mejores que el azar

A partir de la matriz de confusión de un modelo multiclase, podemos determinar si un modelo funciona mejor que el azar. ^{[ 4 ]} Sea $K\geq 3$ sea el número de clases, ${\mathcal {O}}$ un conjunto de observaciones, ${\hat {y}}:{\mathcal {O}}\to \{1,...,K\}$ un modelo de la variable objetivo $y:{\mathcal {O}}\to \{1,...,K\}$ y $n_{i,j}$ sea el número de observaciones en el conjunto $\{y=i\}\cap \{{\hat {y}}=j\}$ Observamos $n_{i.}=\sum _{j}n_{i,j}$ , $n_{.j}=\sum _{i}n_{i,j}$ , $n=\sum _{j}n_{.j}=\sum _{i}n_{i.}$ , $\lambda _{i}={\frac {n_{i.}}{n}}$ y $\mu _{j}={\frac {n_{.j}}{n}}$ Se supone que la matriz de confusión $(n_{i,j})_{i,j}$ contiene al menos una entrada distinta de cero en cada fila, es decir $\lambda _{i}>0$ para cualquier $i$ . Finalmente, llamamos "matriz de confusión normalizada" a la matriz de probabilidades condicionales. $(\mathbb {P} ({\hat {y}}=j\mid y=i))_{i,j}=\left({\frac {n_{i,j}}{n_{i.}}}\right)_{i,j}$ .

Explicación intuitiva

El elevador es una forma de medir la desviación de la independencia de dos eventos. $A$ y $B$ :

$\mathrm {Lift} (A,B)={\frac {\mathbb {P} (A\cap B)}{\mathbb {P} (A)\mathbb {P} (B)}}={\frac {\mathbb {P} (A\mid B)}{\mathbb {P} (A)}}={\frac {\mathbb {P} (B\mid A)}{\mathbb {P} (B)}}$

Tenemos $\mathrm {Lift} (A,B)>1$ si y solo si ocurren eventos $A$ y $B$ Ocurren simultáneamente con mayor probabilidad que si fueran independientes. En otras palabras, si ocurre uno de los dos eventos, aumenta la probabilidad de observar el otro.

Una primera condición que debe cumplirse es tener $\mathrm {Lift} (y=i,{\hat {y}}=i)\geq 1$ para cualquier $i$ . Y la calidad de un modelo (mejor o peor que el azar) no cambia si sobremuestreamos o submuestreamos el conjunto de datos, es decir, si multiplicamos cada fila $R_{i}$ de la matriz de confusión por una constante $c_{i}$ . Por lo tanto, la segunda condición es que las condiciones necesarias y suficientes para obtener un resultado mejor que el azar solo necesitan depender de la matriz de confusión normalizada.

La condición en los ascensores se puede reformular con modelos binarios Uno versus Resto : para cualquier $i$ , definimos la variable objetivo binaria $y_{i}$ que es el indicador del evento $\{y=i\}$ y el modelo binario ${\hat {y}}_{i}$ de $y_{i}$ que es el indicador del evento $\{{\hat {y}}=i\}$ Cada uno de los ${\hat {y}}_{i}$ El modelo es un modelo de "Uno contra el resto". $\mathrm {Lift} (y=i,{\hat {y}}=i)$ Solo depende de los eventos $\{y=i\}$ y $\{{\hat {y}}=i\}$ , por lo que fusionar o no fusionar las otras clases no cambia su valor. Por lo tanto, tenemos $\mathrm {Lift} (y=i,{\hat {y}}=i)=\mathrm {Lift} (y_{i}=1,{\hat {y}}_{i}=1)$ y la primera condición es que todos los modelos binarios Uno contra Resto son mejores que el azar.

Ejemplo

Si $K=2$ y 2 es la clase de interés, la matriz de confusión normalizada es ${\begin{pmatrix}\mathrm {specificity} &1-\mathrm {specificity} \\1-\mathrm {sensitivity} &\mathrm {sensitivity} \end{pmatrix}}$ y tenemos $\mathrm {Lift} (y=1,{\hat {y}}=1)-1={\frac {\mathbb {P} (y={\hat {y}}=1)}{\lambda _{1}\mu _{1}}}-1={\frac {n_{1,1}n}{n_{1.}n_{.1}}}-1$ $={\frac {n_{1,1}(n_{1,1}+n_{1,2}+n_{2,1}+n_{2,2})-(n_{1,1}+n_{1,2})(n_{1,1}+n_{2,1})}{n_{1.}n_{.1}}}={\frac {n_{1,1}n_{2,2}-n_{1,2}n_{2,1}}{n_{1.}n_{.1}}}$ . De este modo $\mathrm {Lift} (y=1,{\hat {y}}=1)\geq 1\iff n_{1,1}n_{2,2}-n_{1,2}n_{2,1}\geq 0$ . De manera similar, al intercambiar los roles de 1 y 2, encontramos que $\mathrm {Lift} (y=2,{\hat {y}}=2)\geq 1\iff n_{1,1}n_{2,2}-n_{1,2}n_{2,1}\geq 0$ . Dividiendo por $n_{1.}n_{2.}$ encontramos que la condición necesaria y suficiente sobre la matriz de confusión normalizada es $\mathrm {sensitivity} \ \mathrm {specificity} -(1-\mathrm {sensitivity} )(1-\mathrm {specificity} )\geq 0\iff \mathrm {sensitivity} +\mathrm {specificity} -1\geq 0\iff J\geq 0$ Esto nos lleva de vuelta a la condición binaria clásica: la J de Youden debe ser positiva (o cero para modelos aleatorios).

Modelos aleatorios

Un modelo aleatorio es un modelo independiente de la variable objetivo. Esta propiedad se puede reformular fácilmente con la matriz de confusión.

Proposición : El modelo ${\hat {y}}$ de $y$ es aleatorio si y solo si la matriz de confusión es de rango 1.

Prueba

${\hat {y}}$ es un modelo aleatorio de $y$ si y solo si tenemos $\mathbb {P} (\{y=i\}\cap \{{\hat {y}}=j\})=\mathbb {P} (y=i)\mathbb {P} ({\hat {y}}=j)$ para cualquier $i$ y $j$ , lo cual es equivalente a $n_{i,j}n=n_{i.}n_{.j}$ para cualquier $i$ y $j$ Todas las columnas de la matriz de confusión son entonces proporcionales al vector no nulo. $(n_{i.})_{i}$ , lo que implica que la matriz de confusión es de rango 1.

Por el contrario, si esta matriz es de rango 1, las columnas no nulas de la matriz son proporcionales entre sí y, por lo tanto, proporcionales a su suma. $(n_{i.})_{i}$ . Por lo tanto, existe una familia de números $(\beta _{j})_{j}$ de tal manera que $n_{i,j}=n_{i.}\beta _{j}$ para cualquier $i$ y $j$ Sumando estas ecuaciones sobre $i$ da $n_{.j}=\beta _{j}n$ , por eso $n_{i,j}n=n_{i.}n_{.j}$ para cualquier $i$ y $j$ .

Esta proposición muestra que el modelo ${\hat {y}}$ de $y$ no es informativo si y solo si hay dos familias de números $(\alpha _{i})_{i}$ y $(\beta _{j})_{j}$ de tal manera que $\mathbb {P} (\{y=i\}\cap \{{\hat {y}}=j\})=\alpha _{i}\beta _{j}$ para cualquier $i$ y $j$ .

Razones de verosimilitud multiclase y razones de probabilidades diagnósticas

Definimos razones de verosimilitud generalizadas calculadas a partir de la matriz de confusión normalizada: para cualquier $i$ y $j\not =i$ , dejar $\mathrm {LR} _{i,j}={\frac {\mathbb {P} ({\hat {y}}=j\mid y=j)}{\mathbb {P} ({\hat {y}}=j\mid y=i)}}$ . Cuando $K=2$ , si 2 es la clase de interés, encontramos las razones de verosimilitud clásicas $\mathrm {LR} _{1,2}=\mathrm {LR} _{+}$ y $\mathrm {LR} _{2,1}={\frac {1}{\mathrm {LR} _{-}}}$ Los odds ratios de diagnóstico multiclase también se pueden definir utilizando la fórmula $\mathrm {DOR} _{i,j}=\mathrm {DOR} _{j,i}=\mathrm {LR} _{i,j}\mathrm {LR} _{j,i}={\frac {n_{i,i}n_{j,j}}{n_{i,j}n_{j,i}}}={\frac {\mathbb {P} ({\hat {y}}=j\mid y=j)/\mathbb {P} ({\hat {y}}=i\mid y=j)}{\mathbb {P} ({\hat {y}}=j\mid y=i)/\mathbb {P} ({\hat {y}}=i\mid y=i)}}$

Teorema — Para cualquier $j$ ,

$\mathbb {P} ({\hat {y}}=j\mid y=j)-\mu _{j}=\sum _{i}\lambda _{i}(\mathbb {P} ({\hat {y}}=j\mid y=j)-\mathbb {P} ({\hat {y}}=j\mid y=i))$

De forma equivalente, si todos $n_{i,j}$ son distintos de cero:

${\frac {1}{\mathrm {Lift} (y=j,{\hat {y}}=j)}}=\sum _{i}{\frac {\lambda _{i}}{\mathrm {LR} _{i,j}}}$

Prueba

$\mathbb {P} ({\hat {y}}=j\mid y=j)-\mathbb {P} ({\hat {y}}=j)=\mathbb {P} ({\hat {y}}=j\mid y=j)-\sum _{i}\lambda _{i}\mathbb {P} ({\hat {y}}=j\mid y=i)$ $=\sum _{i}\lambda _{i}(\mathbb {P} ({\hat {y}}=j\mid y=j)-\mathbb {P} ({\hat {y}}=j\mid y=i))$ . Dividiendo por $\mathbb {P} ({\hat {y}}=j\mid y=j)$ y restando 1, deducimos la segunda formulación.

Corolario — Si todas las probabilidades $\mathbb {P} ({\hat {y}}=k\mid y=l)$ son fijos, para cualquier $i$ y $j$ tenemos

$\lim _{\lambda _{i}\to 1}(\mathbb {P} ({\hat {y}}=j\mid y=j)-\mu _{j})=\mathbb {P} ({\hat {y}}=j\mid y=j)-\mathbb {P} ({\hat {y}}=j\mid y=i)$

De forma equivalente, si todos $n_{i,j}$ son distintos de cero:

$\lim _{\lambda _{i}\to 1}\mathrm {Lift} (y=j,{\hat {y}}=j)=\mathrm {LR} _{i,j}$

Vimos anteriormente que un modelo mejor que el azar (o un modelo aleatorio) debe verificar $\mathrm {Lift} (y=i,{\hat {y}}=i)\geq 1$ para cualquier $i$ y $\lambda _{i}$ . Según el corolario anterior, las razones de verosimilitud son, por lo tanto, mayores o iguales a 1. Recíprocamente, si las razones de verosimilitud son mayores o iguales a 1, el teorema muestra que tenemos $\mathrm {Lift} (y=i,{\hat {y}}=i)\geq 1$ para cualquier $i$ y $\lambda _{i}$ .

Definición de modelos multiclase mejores que el azar

Un modelo ${\hat {y}}$ de $y$ supera al azar si se cumplen las siguientes condiciones:

Para cualquier $j$ , tenemos $\max _{i}\mathbb {P} ({\hat {y}}=j\mid y=i)=\mathbb {P} ({\hat {y}}=j\mid y=j)$ .
Existen i y j distintos tales que $\mathbb {P} ({\hat {y}}=j\mid y=i)<\mathbb {P} ({\hat {y}}=j\mid y=j)$ .

Si todas las entradas de la matriz de confusión son distintas de cero, esto significa que todas las razones de verosimilitud son mayores o iguales a 1, y al menos una de estas desigualdades es estricta. Un modelo que satisface la primera condición pero no la segunda es aleatorio, ya que entonces tenemos $\mathbb {P} (\{{\hat {y}}=j\}\cap \{y=i\})=\mathbb {P} (y=i)\mathbb {P} ({\hat {y}}=j\mid y=i)=\mathbb {P} (y=i)\mathbb {P} ({\hat {y}}=j\mid y=j)=\alpha _{i}\beta _{j}$ para cualquier $i$ y $j$ .

Podemos reescribir la primera condición de una manera más familiar, teniendo en cuenta $x$ el valor observado de ${\hat {y}}$ , $\theta$ el valor que se debe estimar de $y$ y ${\hat {\theta }}(x)$ el conjunto $argmax_{\theta }\mathbb {P} (x\mid \theta )$ : para cualquier $x$ tenemos $x\in {\hat {\theta }}(x)$ . Deducimos que un modelo es mejor que aleatorio o aleatorio si y solo si es un estimador de máxima verosimilitud de la variable objetivo .

Aplicaciones

Precisión equilibrada multiclase

El rendimiento de un modelo mejor que el azar se puede estimar utilizando versiones multiclase de métricas como la precisión equilibrada o la de Youden. $J$ .

Definición - $\mathrm {Balanced\ accuracy} ={\frac {1}{K}}\sum _{i}\mathbb {P} ({\hat {y}}=i\mid y=i)$ $\mathrm {J} ={\frac {1}{K-1}}(K\,\mathrm {balanced\ accuracy} -1)={\frac {1}{K-1}}\sum _{i}\mu _{i}(\mathrm {Lift} (y=i,{\hat {y}}=i)-1)$

Si $\mathrm {balanced\ accuracy} =1$ , en otras palabras $J=1$ , el modelo es perfecto. Y para cualquier modelo aleatorio, tenemos $\mathrm {balanced\ accuracy} ={\frac {1}{K}}$ (si, por ejemplo, extraemos un número aleatorio uniforme de la $K$ etiquetas, tenemos exactamente una oportunidad en $K$ de predecir el valor correcto de la variable objetivo).

En un conjunto de datos equilibrado ( $\lambda _{i}={\frac {1}{K}}$ para cualquier $i$ ), la precisión equilibrada es igual a la tasa de observaciones bien clasificadas. En cualquier conjunto de datos, si un modelo funciona mejor que el azar, tenemos $J\geq 0$ y $\mathrm {balanced\ accuracy} \geq {\frac {1}{K}}$ . Pero lo contrario no es cierto cuando $K>2$ , como podemos ver en este ejemplo: la matriz de confusión ${\begin{pmatrix}0&3&0\\1&2&0\\0&0&3\end{pmatrix}}$ es el de un mal modelo (=peor que el azar) ya que $\mathrm {LR} _{2,1}=0$ Sin embargo, 5 de las 9 observaciones se clasificaron correctamente. Esto también demuestra que un rendimiento deficiente del modelo en una de las modalidades no se compensa con un buen rendimiento en las demás.

Espacio ROC

El conjunto de matrices de confusión normalizadas se llama espacio ROC, un subespacio de ${\mathopen {[}}0,1{\mathclose {]}}^{m^{2}}$ . Si $E$ denota el subconjunto del espacio ROC compuesto por modelos aleatorios o modelos que lo hacen mejor que el azar, se puede demostrar que el límite topológico de $E$ es el conjunto de elementos de $E$ para los cuales al menos una de las razones de verosimilitud es igual a 1. Y los modelos aleatorios son aquellos modelos cuyas razones de verosimilitud son todas iguales a 1. Cuando $K=2$ , el límite entre los modelos que lo hacen mejor que el azar y los malos modelos es igual al conjunto de modelos aleatorios (consulte el artículo sobre la curva roc para obtener más detalles), pero es estrictamente mayor tan pronto como $K>2$ . Y si $K=3$ , podemos calcular el volumen ocupado por los malos modelos en el espacio ROC: ocupan el 90% de este espacio, mientras que es solo el 50% cuando $K=2$ .

Estrategias algorítmicas generales

Las técnicas de clasificación multiclase existentes se pueden categorizar en

transformación a binario
extensión de binario
clasificación jerárquica. ^{[ 5 ]}

Transformación a binario

Esta sección analiza estrategias para reducir el problema de clasificación multiclase a múltiples problemas de clasificación binaria. Estos se pueden categorizar en uno contra el resto y uno contra uno . Las técnicas desarrolladas para reducir el problema multiclase a múltiples problemas binarios también se conocen como técnicas de transformación de problemas.

Uno contra el resto

La estrategia de uno contra el resto ^{[ 6 ]}^{: 182, 338}^{[ 1 ]} (OvR o uno contra todos , OvA o uno contra todos , OAA) implica entrenar un único clasificador por clase, con las muestras de esa clase como muestras positivas y todas las demás muestras como negativas. Esta estrategia requiere que los clasificadores base produzcan una puntuación de valor real para su decisión (véase también regla de puntuación ), en lugar de solo una etiqueta de clase; las etiquetas de clase discretas por sí solas pueden generar ambigüedades, donde se predicen múltiples clases para una sola muestra. ^{[ 6 ]}^{: 182}^{[ nota 1 ]}

En pseudocódigo, el algoritmo de entrenamiento para un aprendiz OvR construido a partir de un aprendiz de clasificación binaria $L$ es el siguiente:

Entradas:

$L$ , un algoritmo de aprendizaje (algoritmo de entrenamiento para clasificadores binarios)
muestras $X$
etiquetas $y$ donde $y i$ ∈ {1, … $K$ } es la etiqueta para la muestra $X i$

Producción:

una lista de clasificadores $f k$ para $k$ ∈ {1, …, $K$ }

Procedimiento:

Para cada k en {1, …, K }
- Construye un nuevo vector de etiquetas $z$ donde $z i$ = $y i$ si $y i = k$ y $z i = 0$ en caso contrario.
- Aplique $L$ a $X$ , $z$ para obtener $f k$

Tomar decisiones significa aplicar todos los clasificadores a una muestra $x$ no vista y predecir la etiqueta $k$ para la cual el clasificador correspondiente reporta la puntuación de confianza más alta:

{\hat {y}}={\underset {k\in \{1\ldots K\}}{\arg \!\max }}\;f_{k}(x)

Aunque esta estrategia es popular, es una heurística que adolece de varios problemas. En primer lugar, la escala de los valores de confianza puede diferir entre los clasificadores binarios. En segundo lugar, incluso si la distribución de clases está equilibrada en el conjunto de entrenamiento, los aprendices de clasificación binaria ven distribuciones desequilibradas porque, por lo general, el conjunto de negativos que ven es mucho mayor que el conjunto de positivos. ^{[ 6 ]}^{: 338} Sin embargo, estudios empíricos han demostrado que uno contra el resto puede tener un rendimiento competitivo con métodos multiclase más sofisticados. ^{[ 1 ]}

Uno contra uno

En la reducción uno contra uno (OvO), se entrenan $K (K -1)/2$ clasificadores binarios para un problema multiclase $de K$ vías; cada uno recibe muestras de un par de clases del conjunto de entrenamiento original y debe aprender a distinguir estas dos clases. En el momento de la predicción, se aplica un esquema de votación: los $K (K -1)/2$ clasificadores se aplican a una muestra no vista y la clase que obtuvo el mayor número de predicciones "+1" es la predicha por el clasificador combinado. ^{[ 6 ]}^{: 339}

Al igual que OvR, OvO sufre de ambigüedades, ya que algunas regiones de su espacio de entrada pueden recibir el mismo número de votos. ^{[ 6 ]}^{: 183}

Extensión desde binario

Esta sección analiza estrategias para extender los clasificadores binarios existentes y resolver problemas de clasificación multiclase. Se han desarrollado diversos algoritmos basados en redes neuronales , árboles de decisión , k-vecinos más cercanos , Naive Bayes , máquinas de vectores de soporte y máquinas de aprendizaje extremo para abordar problemas de clasificación multiclase. Estas técnicas también se conocen como técnicas de adaptación de algoritmos.

Redes neuronales

Los perceptrones multiclase proporcionan una extensión natural al problema de la clasificación multiclase. En lugar de tener una sola neurona en la capa de salida, con salida binaria, se pueden tener N neuronas binarias que permiten la clasificación multiclase. En la práctica, la última capa de una red neuronal suele ser una capa de función softmax , que es la simplificación algebraica de N clasificadores logísticos, normalizados por clase mediante la suma de los N-1 otros clasificadores logísticos. La clasificación basada en redes neuronales ha aportado mejoras significativas y nuevas perspectivas para el pensamiento. ^{[ 7 ]}^{[ 8 ]}

Máquinas de aprendizaje extremo

Las máquinas de aprendizaje extremo (ELM) son un caso especial de redes neuronales de alimentación directa con una sola capa oculta (SLFN), en las que los pesos de entrada y los sesgos de los nodos ocultos se pueden elegir aleatoriamente. Se han desarrollado numerosas variantes y mejoras de las ELM para la clasificación multiclase.

k vecinos más cercanos

El algoritmo de k vecinos más cercanos (kNN) se considera uno de los algoritmos de clasificación no paramétricos más antiguos. Para clasificar un ejemplo desconocido, se mide la distancia entre dicho ejemplo y todos los demás ejemplos de entrenamiento. Se identifican las k distancias más pequeñas y la clase más representada por estos k vecinos más cercanos se considera la etiqueta de clase de salida.

Bayes ingenuo

El clasificador Naive Bayes es un clasificador exitoso basado en el principio de máxima probabilidad a posteriori (MAP). Este enfoque es naturalmente extensible al caso de tener más de dos clases, y se ha demostrado que funciona bien a pesar del supuesto simplificador subyacente de independencia condicional .

Árboles de decisión

El aprendizaje mediante árboles de decisión es una técnica de clasificación muy eficaz. El árbol intenta inferir una división de los datos de entrenamiento basándose en los valores de las características disponibles para lograr una buena generalización. El algoritmo puede manejar de forma natural problemas de clasificación binaria o multiclase. Los nodos hoja pueden referirse a cualquiera de las K clases consideradas.

Máquinas de vectores de soporte

Las máquinas de vectores de soporte se basan en la idea de maximizar el margen, es decir, maximizar la distancia mínima desde el hiperplano separador hasta el ejemplo más cercano. La SVM básica solo admite clasificación binaria, pero se han propuesto extensiones para manejar también el caso de clasificación multiclase. En estas extensiones, se añaden parámetros y restricciones adicionales al problema de optimización para gestionar la separación de las diferentes clases.

Programación de expresiones múltiples

La programación multiexpresión (MEP) es un algoritmo evolutivo para generar programas informáticos (que también puede utilizarse para tareas de clasificación). MEP posee una característica única: codifica múltiples programas en un único cromosoma. Cada uno de estos programas puede utilizarse para generar la salida de una clase, lo que hace que MEP sea idóneo para resolver problemas de clasificación multiclase.

Clasificación jerárquica

La clasificación jerárquica aborda el problema de la clasificación multiclase dividiendo el espacio de salida en un árbol . Cada nodo padre se divide en múltiples nodos hijos, y el proceso continúa hasta que cada nodo hijo representa una sola clase. Se han propuesto varios métodos basados en la clasificación jerárquica.

paradigmas de aprendizaje

Según los paradigmas de aprendizaje, las técnicas de clasificación multiclase existentes se pueden clasificar en aprendizaje por lotes y aprendizaje en línea . Los algoritmos de aprendizaje por lotes requieren que todas las muestras de datos estén disponibles de antemano. Entrenan el modelo utilizando todos los datos de entrenamiento y luego predicen la muestra de prueba utilizando la relación encontrada. Los algoritmos de aprendizaje en línea, por otro lado, construyen sus modelos de forma incremental en iteraciones secuenciales. En la iteración t, un algoritmo en línea recibe una muestra, x _t y predice su etiqueta ŷ _t utilizando el modelo actual; luego, el algoritmo recibe y _t , la etiqueta verdadera de x _t y actualiza su modelo basándose en el par muestra-etiqueta: (x _t , y _t ). Recientemente, se ha desarrollado un nuevo paradigma de aprendizaje llamado técnica de aprendizaje progresivo. ^{[ 9 ]} La técnica de aprendizaje progresivo es capaz no solo de aprender de nuevas muestras, sino también de aprender nuevas clases de datos y, al mismo tiempo, retener el conocimiento aprendido hasta el momento. ^{[ 10 ]}

Evaluación

El rendimiento de un sistema de clasificación multiclase se evalúa a menudo comparando las predicciones del sistema con etiquetas de referencia mediante una métrica de evaluación. Las métricas de evaluación comunes son la precisión o la macro F1 . ^{[ 11 ]}

Véase también

Notas

↑ En la clasificación multietiqueta , OvR se conoce como relevancia binaria y la predicción de múltiples clases se considera una característica, no un problema.

Referencias

1 2 3 Rifkin, Ryan; Klautau, Aldebaro (2004). "En defensa de la clasificación uno contra todos" . Journal of Machine Learning Research . 5 : 101–141 .
↑ Allwein, Erin L.; Schapire, Robert E.; Singer, Yoram (2000). "Reducción de clasificación multiclase a binaria: un enfoque unificador para clasificadores de margen". Journal of Machine Learning Research . 1 : 113–141 .
↑ Dietterich, Thomas G.; Bakiri, Ghulum (1995). "Resolución de problemas de aprendizaje multiclase mediante códigos de salida de corrección de errores" . Journal of Artificial Intelligence Research . 2 : 263–286 . doi : 10.1613/jair.105 .
↑ Foulle, Sebastien (junio de 2025). "Caracterización matemática de modelos multiclase mejores que aleatorios" . TMLR .
↑ Mohamed, Aly (2005). "Estudio sobre métodos de clasificación multiclase" . Informe técnico, Caltech .
1 2 3 4 5 Bishop, Christopher M. (2006). Reconocimiento de patrones y aprendizaje automático . Springer.
↑ Ekin, Cubuk (2019). "Autoaumento: Aprendizaje de estrategias de aumento a partir de datos". Actas de la Conferencia IEEE/CVF sobre Visión por Computadora y Reconocimiento de Patrones . Bibcode : 2019cvpr.conf...20C .
↑ Kabir, HM Dipu (2023). "Reducción de la incertidumbre de activación de clases con información de fondo". arXiv : 2305.03238 [ cs.CV ].
↑ Venkatesan, Rajasekar; Meng Joo, Er (2016). "Una nueva técnica de aprendizaje progresivo para la clasificación multiclase". Neurocomputing . 207 : 310–321 . arXiv : 1609.00085 . doi : 10.1016/j.neucom.2016.05.006 . S2CID 12510650 .
^ Venkatesan, Rajasekar. «Técnica de Aprendizaje Progresivo» . Rajasekar Venkatesan - Perfil de investigación .
↑ Opitz, Juri (2024). "Una mirada más cercana a las métricas de evaluación de clasificación y una reflexión crítica sobre la práctica de evaluación común" . Transactions of the Association for Computational Linguistics . 12 : 820–836 . arXiv : 2404.16958 . doi : 10.1162/tacl_a_00675 .

[7] En la clasificación multietiqueta , OvR se conoce como relevancia binaria y la predicción de múltiples clases se considera una característica, no un problema.

[rifkin2004-1] 1 2 3 Rifkin, Ryan; Klautau, Aldebaro (2004). "En defensa de la clasificación uno contra todos" . Journal of Machine Learning Research . 5 : 101–141 .

[allwein2000-2] Allwein, Erin L.; Schapire, Robert E.; Singer, Yoram (2000). "Reducción de clasificación multiclase a binaria: un enfoque unificador para clasificadores de margen". Journal of Machine Learning Research . 1 : 113–141 .

[dietterich1995-3] Dietterich, Thomas G.; Bakiri, Ghulum (1995). "Resolución de problemas de aprendizaje multiclase mediante códigos de salida de corrección de errores" . Journal of Artificial Intelligence Research . 2 : 263–286 . doi : 10.1613/jair.105 .

[Foulle2025-4] Foulle, Sebastien (junio de 2025). "Caracterización matemática de modelos multiclase mejores que aleatorios" . TMLR .

[5] Mohamed, Aly (2005). "Estudio sobre métodos de clasificación multiclase" . Informe técnico, Caltech .

[bishop-6] 1 2 3 4 5 Bishop, Christopher M. (2006). Reconocimiento de patrones y aprendizaje automático . Springer.

[8] Ekin, Cubuk (2019). "Autoaumento: Aprendizaje de estrategias de aumento a partir de datos". Actas de la Conferencia IEEE/CVF sobre Visión por Computadora y Reconocimiento de Patrones . Bibcode : 2019cvpr.conf...20C .

[9] Kabir, HM Dipu (2023). "Reducción de la incertidumbre de activación de clases con información de fondo". arXiv : 2305.03238 [ cs.CV ].

[10] Venkatesan, Rajasekar; Meng Joo, Er (2016). "Una nueva técnica de aprendizaje progresivo para la clasificación multiclase". Neurocomputing . 207 : 310–321 . arXiv : 1609.00085 . doi : 10.1016/j.neucom.2016.05.006 . S2CID 12510650 .

[11] Venkatesan, Rajasekar. «Técnica de Aprendizaje Progresivo» . Rajasekar Venkatesan - Perfil de investigación .

[12] Opitz, Juri (2024). "Una mirada más cercana a las métricas de evaluación de clasificación y una reflexión crítica sobre la práctica de evaluación común" . Transactions of the Association for Computational Linguistics . 12 : 820–836 . arXiv : 2404.16958 . doi : 10.1162/tacl_a_00675 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ nota 1 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]