Aprendizaje supervisado

En el aprendizaje automático , el aprendizaje supervisado ( SL ) es un tipo de paradigma de aprendizaje automático donde un algoritmo aprende a mapear datos de entrada a una salida específica basándose en pares de entrada-salida de ejemplo. Este proceso implica entrenar un modelo estadístico utilizando datos etiquetados , lo que significa que a cada dato de entrada se le proporciona la salida correcta. El término "supervisado" se refiere al rol de un maestro o supervisor que proporciona estos datos de entrenamiento, guiando al algoritmo hacia predicciones correctas. ^{[ 1 ]} Por ejemplo, si se desea que un modelo identifique gatos en imágenes, el aprendizaje supervisado implicaría alimentarlo con muchas imágenes de gatos (entradas) que estén explícitamente etiquetadas como "gato" (salidas).

El objetivo del aprendizaje supervisado es que el modelo entrenado prediga con precisión el resultado para datos nuevos y desconocidos. ^{[ 2 ]} Esto requiere que el algoritmo generalice eficazmente a partir de los ejemplos de entrenamiento, una cualidad que se mide mediante su error de generalización . El aprendizaje supervisado se utiliza comúnmente para tareas como la clasificación (predecir una categoría, por ejemplo, spam o no spam) y la regresión (predecir un valor continuo, por ejemplo, precios de viviendas).

Pasos a seguir

Para resolver un problema dado de aprendizaje supervisado, se deben realizar los siguientes pasos:

Determina el tipo de muestras de entrenamiento. Antes de hacer cualquier otra cosa, el usuario debe decidir qué tipo de datos se utilizarán como conjunto de entrenamiento . En el caso del análisis de escritura a mano , por ejemplo, podría tratarse de un solo carácter escrito a mano, una palabra completa, una oración completa o un párrafo completo.
Reúna un conjunto de datos de entrenamiento. Este conjunto debe ser representativo del uso real de la función. Para ello, se recopila un conjunto de objetos de entrada junto con sus correspondientes resultados, ya sea a partir de datos de expertos o de mediciones.
Determinar la representación de las características de entrada de la función aprendida. La precisión de la función aprendida depende en gran medida de cómo se representa el objeto de entrada. Normalmente, el objeto de entrada se transforma en un vector de características que contiene varias características descriptivas del objeto. El número de características no debe ser excesivo, debido a la maldición de la dimensionalidad ; pero debe contener suficiente información para predecir con precisión la salida.
Determinar la estructura de la función aprendida y el algoritmo de aprendizaje correspondiente. Por ejemplo, se puede optar por utilizar máquinas de vectores de soporte o árboles de decisión .
Completa el diseño. Ejecuta el algoritmo de aprendizaje en el conjunto de entrenamiento recopilado. Algunos algoritmos de aprendizaje supervisado requieren que el usuario determine ciertos parámetros de control . Estos parámetros pueden ajustarse optimizando el rendimiento en un subconjunto (llamado conjunto de validación ) del conjunto de entrenamiento o mediante validación cruzada .
Evalúe la precisión de la función aprendida. Tras el ajuste de parámetros y el aprendizaje, el rendimiento de la función resultante debe medirse en un conjunto de prueba independiente del conjunto de entrenamiento.

Elección del algoritmo

Existe una amplia gama de algoritmos de aprendizaje supervisado, cada uno con sus fortalezas y debilidades. No hay un único algoritmo de aprendizaje que funcione mejor en todos los problemas de aprendizaje supervisado (véase el teorema de la no existencia de almuerzos gratis ).

En el aprendizaje supervisado hay cuatro cuestiones principales a tener en cuenta:

Compromiso entre sesgo y varianza

Un primer problema es el equilibrio entre sesgo y varianza . ^{[ 3 ]} Imaginemos que disponemos de varios conjuntos de datos de entrenamiento diferentes, pero igualmente buenos. Un algoritmo de aprendizaje está sesgado hacia una entrada particular. $x$ si, cuando se entrena en cada uno de estos conjuntos de datos, es sistemáticamente incorrecto al predecir la salida correcta para $x$ Un algoritmo de aprendizaje tiene una alta varianza para una entrada particular. $x$ si predice diferentes valores de salida cuando se entrena en diferentes conjuntos de entrenamiento. El error de predicción de un clasificador aprendido está relacionado con la suma del sesgo y la varianza del algoritmo de aprendizaje. ^{[ 4 ]} Generalmente, hay una compensación entre el sesgo y la varianza. Un algoritmo de aprendizaje con bajo sesgo debe ser "flexible" para que pueda ajustarse bien a los datos. Pero si el algoritmo de aprendizaje es demasiado flexible, se ajustará a cada conjunto de datos de entrenamiento de manera diferente y, por lo tanto, tendrá una alta varianza. Un aspecto clave de muchos métodos de aprendizaje supervisado es que pueden ajustar esta compensación entre el sesgo y la varianza (ya sea automáticamente o proporcionando un parámetro de sesgo/varianza que el usuario puede ajustar).

Complejidad de la función y cantidad de datos de entrenamiento

El segundo aspecto es la cantidad de datos de entrenamiento disponibles en relación con la complejidad de la función "verdadera" (clasificador o función de regresión). Si la función verdadera es simple, un algoritmo de aprendizaje "inflexible" con alto sesgo y baja varianza podrá aprenderla con una pequeña cantidad de datos. Pero si la función verdadera es muy compleja (por ejemplo, porque implica interacciones complejas entre muchas características de entrada diferentes y se comporta de manera distinta en diferentes partes del espacio de entrada), entonces la función solo podrá aprender con una gran cantidad de datos de entrenamiento junto con un algoritmo de aprendizaje "flexible" con bajo sesgo y alta varianza.

Dimensionalidad del espacio de entrada

Un tercer problema es la dimensionalidad del espacio de entrada. Si los vectores de características de entrada tienen dimensiones grandes, aprender la función puede ser difícil incluso si la función verdadera solo depende de un pequeño número de esas características. Esto se debe a que las muchas dimensiones "adicionales" pueden confundir al algoritmo de aprendizaje y causar una alta varianza. Por lo tanto, los datos de entrada de dimensiones grandes generalmente requieren ajustar el clasificador para que tenga baja varianza y alto sesgo. En la práctica, si el ingeniero puede eliminar manualmente las características irrelevantes de los datos de entrada, probablemente mejorará la precisión de la función aprendida. Además, existen muchos algoritmos para la selección de características que buscan identificar las características relevantes y descartar las irrelevantes. Este es un ejemplo de la estrategia más general de reducción de dimensionalidad , que busca mapear los datos de entrada a un espacio de menor dimensión antes de ejecutar el algoritmo de aprendizaje supervisado.

Ruido en los valores de salida

Un cuarto problema es el grado de ruido en los valores de salida deseados (las variables objetivo de supervisión ). Si los valores de salida deseados suelen ser incorrectos (debido a errores humanos o de sensores), el algoritmo de aprendizaje no debería intentar encontrar una función que coincida exactamente con los ejemplos de entrenamiento. Intentar ajustar los datos con demasiada precisión conduce al sobreajuste . Se puede producir sobreajuste incluso cuando no hay errores de medición (ruido estocástico) si la función que se intenta aprender es demasiado compleja para el modelo de aprendizaje. En tal caso, la parte de la función objetivo que no se puede modelar "corrompe" los datos de entrenamiento; este fenómeno se conoce como ruido determinista . Cuando está presente cualquiera de los dos tipos de ruido, es mejor optar por un estimador con mayor sesgo y menor varianza.

En la práctica, existen varios enfoques para mitigar el ruido en los valores de salida, como la detención temprana para prevenir el sobreajuste, así como la detección y eliminación de los ejemplos de entrenamiento ruidosos antes de entrenar el algoritmo de aprendizaje supervisado. Existen varios algoritmos que identifican ejemplos de entrenamiento ruidosos, y la eliminación de los ejemplos de entrenamiento sospechosos antes del entrenamiento ha disminuido el error de generalización con significancia estadística . ^{[ 5 ]}^{[ 6 ]}

Otros factores a considerar

Otros factores a tener en cuenta al elegir y aplicar un algoritmo de aprendizaje incluyen los siguientes:

Heterogeneidad de los datos. Si los vectores de características incluyen características de muchos tipos diferentes (discretas, discretas ordenadas, recuentos, valores continuos), algunos algoritmos son más fáciles de aplicar que otros. Muchos algoritmos, incluidas las máquinas de vectores de soporte , la regresión lineal , la regresión logística , las redes neuronales y los métodos del vecino más cercano , requieren que las características de entrada sean numéricas y estén escaladas a rangos similares (por ejemplo, al intervalo [-1,1]). Los métodos que emplean una función de distancia, como los métodos del vecino más cercano y las máquinas de vectores de soporte con núcleos gaussianos , son particularmente sensibles a esto. Una ventaja de los árboles de decisión es que manejan fácilmente datos heterogéneos.
Redundancia en los datos. Si las características de entrada contienen información redundante (por ejemplo, características altamente correlacionadas), algunos algoritmos de aprendizaje (por ejemplo, regresión lineal , regresión logística y métodos basados en distancias ) tendrán un rendimiento deficiente debido a inestabilidades numéricas. Estos problemas a menudo se pueden resolver imponiendo algún tipo de regularización .
Presencia de interacciones y no linealidades. Si cada característica contribuye de forma independiente al resultado, los algoritmos basados en funciones lineales (p. ej., regresión lineal , regresión logística , máquinas de vectores de soporte , Naive Bayes ) y funciones de distancia (p. ej., métodos del vecino más cercano, máquinas de vectores de soporte con núcleos gaussianos ) suelen funcionar bien. Sin embargo, si existen interacciones complejas entre las características, los algoritmos como los árboles de decisión y las redes neuronales son más eficaces, ya que están diseñados específicamente para detectar estas interacciones. También se pueden aplicar métodos lineales, pero el ingeniero debe especificar manualmente las interacciones al utilizarlos.

Al considerar una nueva aplicación, el ingeniero puede comparar varios algoritmos de aprendizaje y determinar experimentalmente cuál funciona mejor para el problema en cuestión (véase validación cruzada ). Optimizar el rendimiento de un algoritmo de aprendizaje puede ser muy laborioso. Con recursos limitados, suele ser mejor invertir más tiempo en recopilar datos de entrenamiento adicionales y características más informativas que en optimizar los algoritmos de aprendizaje.

Algoritmos

Los algoritmos de aprendizaje más utilizados son:

Cómo funcionan los algoritmos de aprendizaje supervisado

Dado un conjunto de $N$ ejemplos de capacitación del formulario $\{(x_{1},y_{1}),...,(x_{N},\;y_{N})\}$ de tal manera que $x_{i}$ es el vector de características del $i$ -ésimo ejemplo y $y_{i}$ es su etiqueta (es decir, clase), un algoritmo de aprendizaje busca una función $g:X\to Y$ , dónde $X$ es el espacio de entrada y $Y$ es el espacio de salida. La función $g$ es un elemento de algún espacio de funciones posibles $G$ , generalmente llamado espacio de hipótesis . A veces es conveniente representar $g$ utilizando una función de puntuación $f:X\times Y\to \mathbb {R}$ de tal manera que $g$ se define como devolver el $y$ valor que da la puntuación más alta: $g(x)={\underset {y}{\arg \max }}\;f(x,y)$ . Dejar $F$ denotemos el espacio de funciones de puntuación.

A pesar de $G$ y $F$ puede ser cualquier espacio de funciones, muchos algoritmos de aprendizaje son modelos probabilísticos donde $g$ adopta la forma de un modelo de probabilidad condicional $g(x)={\underset {y}{\arg \max }}\;P(y|x)$ , o $f$ adopta la forma de un modelo de probabilidad conjunta $f(x,y)=P(x,y)$ Por ejemplo, el clasificador bayesiano ingenuo y el análisis discriminante lineal son modelos de probabilidad conjunta, mientras que la regresión logística es un modelo de probabilidad condicional.

Hay dos enfoques básicos para elegir $f$ o $g$ : minimización del riesgo empírico y minimización del riesgo estructural . ^{[ 7 ]} La minimización del riesgo empírico busca la función que mejor se ajusta a los datos de entrenamiento. La minimización del riesgo estructural incluye una función de penalización que controla el equilibrio entre sesgo y varianza.

En ambos casos, se supone que el conjunto de entrenamiento consiste en una muestra de pares independientes e idénticamente distribuidos , $(x_{i},\;y_{i})$ Para medir qué tan bien se ajusta una función a los datos de entrenamiento, se utiliza una función de pérdida . $L:Y\times Y\to \mathbb {R} ^{\geq 0}$ está definido. Por ejemplo de entrenamiento $(x_{i},\;y_{i})$ , la pérdida de predecir el valor ${\hat {y}}$ es $L(y_{i},{\sombrero {y}})$ .

El riesgo $R(g)$ de función $g$ se define como la pérdida esperada de $g$ Esto se puede estimar a partir de los datos de entrenamiento como

R_{emp}(g)={\frac {1}{N}}\sum _{i}L(y_{i},g(x_{i}))

.

Minimización del riesgo empírico

En la minimización del riesgo empírico, el algoritmo de aprendizaje supervisado busca la función $g$ que minimiza $R(g)$ Por lo tanto, se puede construir un algoritmo de aprendizaje supervisado aplicando un algoritmo de optimización para encontrar $g$ .

Cuando $g$ es una distribución de probabilidad condicional $P(y|x)$ y la función de pérdida es el logaritmo negativo de la verosimilitud: $L(y,{\hat {y}})=-\log P(y|x)$ , entonces la minimización del riesgo empírico es equivalente a la estimación de máxima verosimilitud .

Cuando $G$ Si el conjunto de entrenamiento contiene muchas funciones candidatas o no es suficientemente grande, la minimización del riesgo empírico genera una alta varianza y una generalización deficiente. El algoritmo de aprendizaje puede memorizar los ejemplos de entrenamiento sin generalizar bien (sobreajuste).

Minimización del riesgo estructural

La minimización del riesgo estructural busca prevenir el sobreajuste mediante la incorporación de una penalización de regularización en la optimización. Esta penalización puede considerarse como una aplicación de la navaja de Occam, que prioriza las funciones más simples sobre las más complejas.

Se han empleado diversas penalizaciones que corresponden a diferentes definiciones de complejidad. Por ejemplo, considérese el caso en el que la función $g$ es una función lineal de la forma

g(x)=\sum _{j=1}^{d}\beta _{j}x_{j}

.

Una penalización de regularización popular es $\sum _{j}\beta _{j}^{2}$ , que es la norma euclidiana al cuadrado de los pesos, también conocida como la $L_{2}$ norma. Otras normas incluyen la $L_{1}$ norma, $\sum _{j}|\beta _{j}|$ y el $L_{0}$ "norma" , que es el número de valores distintos de cero $\beta _{j}$ s. La sanción se indicará mediante $C(g)$ .

El problema de optimización del aprendizaje supervisado consiste en encontrar la función $g$ que minimiza

J(g)=R_{emp}(g)+\lambda C(g).

El parámetro $\lambda$ controla el equilibrio entre sesgo y varianza. Cuando $\lambda =0$ , esto proporciona una minimización del riesgo empírico con bajo sesgo y alta varianza. Cuando $\lambda$ es grande, el algoritmo de aprendizaje tendrá un sesgo alto y una varianza baja. El valor de $\lambda$ puede elegirse empíricamente mediante validación cruzada .

La penalización por complejidad tiene una interpretación bayesiana como la probabilidad a priori logarítmica negativa de $g$ , $-\log P(g)$ , en cuyo caso $J(g)$ es la probabilidad posterior de $g$ .

Entrenamiento generativo

Los métodos de entrenamiento descritos anteriormente son métodos de entrenamiento discriminativos , porque buscan encontrar una función $g$ que discrimina bien entre los diferentes valores de salida (ver modelo discriminativo ). Para el caso especial donde $f(x,y)=P(x,y)$ es una distribución de probabilidad conjunta y la función de pérdida es el logaritmo negativo de la verosimilitud. $-\sum _{i}\log P(x_{i},y_{i}),$ Se dice que un algoritmo de minimización de riesgos realiza un entrenamiento generativo , porque $f$ Se puede considerar un modelo generativo que explica cómo se generaron los datos. Los algoritmos de entrenamiento generativo suelen ser más sencillos y computacionalmente más eficientes que los algoritmos de entrenamiento discriminativo. En algunos casos, la solución se puede calcular de forma analítica, como en el clasificador bayesiano ingenuo y el análisis discriminante lineal .

Generalizaciones

Tendencia a emplear métodos supervisados o no supervisados en una tarea. El hecho de que los nombres de las tareas abarquen los límites de los círculos es intencional. Esto demuestra que la división clásica de las tareas imaginativas (izquierda) que emplean métodos no supervisados se difumina en los esquemas de aprendizaje actuales.

Existen varias formas de generalizar el problema estándar del aprendizaje supervisado:

Aprendizaje semisupervisado o supervisión débil : los valores de salida deseados se proporcionan solo para un subconjunto de los datos de entrenamiento. Los datos restantes no están etiquetados o están etiquetados de forma imprecisa.
Aprendizaje activo : En lugar de asumir que todos los ejemplos de entrenamiento se proporcionan desde el principio, los algoritmos de aprendizaje activo recopilan nuevos ejemplos de forma interactiva, generalmente mediante consultas a un usuario humano. A menudo, estas consultas se basan en datos sin etiquetar, lo que constituye un escenario que combina el aprendizaje semisupervisado con el aprendizaje activo.
Predicción estructurada : Cuando el valor de salida deseado es un objeto complejo, como un árbol de análisis sintáctico o un grafo etiquetado, entonces es necesario ampliar los métodos estándar.
Aprender a clasificar : Cuando la entrada es un conjunto de objetos y la salida deseada es una clasificación de esos objetos, entonces nuevamente es necesario ampliar los métodos estándar.

Enfoques y algoritmos

Aprendizaje analítico
Red neuronal artificial
Retropropagación
Boosting (metaalgoritmo)
estadística bayesiana
Razonamiento basado en casos
Aprendizaje mediante árboles de decisión
Programación lógica inductiva
regresión de procesos gaussianos
Programación genética
Método de agrupación para el manejo de datos
estimadores de núcleo
Autómatas de aprendizaje
Sistemas de clasificación de aprendizaje
Aprendizaje de la cuantización vectorial
Longitud mínima del mensaje ( árboles de decisión , grafos de decisión, etc.)
aprendizaje de subespacios multilineales
Clasificador Naive Bayes
clasificador de entropía máxima
Campo aleatorio condicional
Algoritmo del vecino más cercano
Aprendizaje probablemente aproximadamente correcto (PAC)
Reglas de Ripple Down , una metodología de adquisición de conocimiento
Algoritmos simbólicos de aprendizaje automático
Algoritmos de aprendizaje automático subsimbólicos
Máquinas de vectores de soporte
Máquinas de complejidad mínima (MCM)
bosques aleatorios
Conjuntos de clasificadores
Clasificación ordinal
preprocesamiento de datos
Manejo de conjuntos de datos desequilibrados
aprendizaje relacional estadístico
Proaftn , un algoritmo de clasificación multicriterio

Aplicaciones

Bioinformática
Quimioinformática
- Relación cuantitativa estructura-actividad
Marketing de bases de datos
Reconocimiento de escritura a mano
Recuperación de información
- Aprender a clasificar
Extracción de información
Reconocimiento de objetos en visión artificial
Reconocimiento óptico de caracteres
Detección de spam
Reconocimiento de patrones
Reconocimiento de voz
El aprendizaje supervisado es un caso especial de causalidad descendente en los sistemas biológicos.
Clasificación de formas del relieve mediante imágenes satelitales ^{[ 8 ]}
Spend classification in procurement processes^[9]

General issues

Computational learning theory
Inductive bias
Overfitting
(Uncalibrated) class membership probabilities
Version spaces

References

↑Mitchell, Tom M. (2013). Machine learning. McGraw-Hill series in Computer Science (Nachdr. ed.). New York: McGraw-Hill. ISBN 978-0-07-042807-2.
↑Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012) Foundations of Machine Learning, The MIT Press ISBN 9780262018258.
↑S. Geman, E. Bienenstock, and R. Doursat (1992). Neural networks and the bias/variance dilemma. Neural Computation 4, 1–58.
↑G. James (2003) Variance and Bias for General Loss Functions, Machine Learning 51, 115–135. (http://www-bcf.usc.edu/~gareth/research/bv.pdf)
↑C.E. Brodely and M.A. Friedl (1999). Identifying and Eliminating Mislabeled Training Instances, Journal of Artificial Intelligence Research 11, 131–167. (http://jair.org/media/606/live-606-1803-jair.pdf)
↑M.R. Smith and T. Martinez (2011). "Improving Classification Accuracy by Identifying and Removing Instances that Should Be Misclassified". Proceedings of International Joint Conference on Neural Networks (IJCNN 2011). pp. 2690–2697. CiteSeerX 10.1.1.221.1371. doi:10.1109/IJCNN.2011.6033571.
↑Vapnik, V. N. The Nature of Statistical Learning Theory (2nd Ed.), Springer Verlag, 2000.
↑A. Maity (2016). "Supervised Classification of RADARSAT-2 Polarimetric Data for Different Land Features". arXiv:1608.00501 [cs.CV].
↑"Key Technologies for Agile Procurement | SIPMM Publications". publication.sipmm.edu.sg. 2020-10-09. Retrieved 2022-06-16.

External links

Machine Learning Open Source Software (MLOSS)

[1] Mitchell, Tom M. (2013). Machine learning. McGraw-Hill series in Computer Science (Nachdr. ed.). New York: McGraw-Hill. ISBN 978-0-07-042807-2.

[2] Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012) Foundations of Machine Learning, The MIT Press ISBN 9780262018258.

[3] S. Geman, E. Bienenstock, and R. Doursat (1992). Neural networks and the bias/variance dilemma. Neural Computation 4, 1–58.

[4] G. James (2003) Variance and Bias for General Loss Functions, Machine Learning 51, 115–135. (http://www-bcf.usc.edu/~gareth/research/bv.pdf)

[5] C.E. Brodely and M.A. Friedl (1999). Identifying and Eliminating Mislabeled Training Instances, Journal of Artificial Intelligence Research 11, 131–167. (http://jair.org/media/606/live-606-1803-jair.pdf)

[6] M.R. Smith and T. Martinez (2011). "Improving Classification Accuracy by Identifying and Removing Instances that Should Be Misclassified". Proceedings of International Joint Conference on Neural Networks (IJCNN 2011). pp. 2690–2697. CiteSeerX 10.1.1.221.1371. doi:10.1109/IJCNN.2011.6033571.

[7] Vapnik, V. N. The Nature of Statistical Learning Theory (2nd Ed.), Springer Verlag, 2000.

[8] A. Maity (2016). "Supervised Classification of RADARSAT-2 Polarimetric Data for Different Land Features". arXiv:1608.00501 [cs.CV].

[9] "Key Technologies for Agile Procurement | SIPMM Publications". publication.sipmm.edu.sg. 2020-10-09. Retrieved 2022-06-16.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[9]