Clasificación estadística

Cuando la clasificación la realiza un ordenador, normalmente se utilizan métodos estadísticos para desarrollar el algoritmo.

A menudo, las observaciones individuales se analizan para obtener un conjunto de propiedades cuantificables, conocidas como variables explicativas o características . Estas propiedades pueden ser categóricas (por ejemplo, "A", "B", "AB" u "O" para el grupo sanguíneo ), ordinales (por ejemplo, "grande", "mediano" o "pequeño"), de valor entero (por ejemplo, el número de veces que aparece una palabra en un correo electrónico ) o de valor real (por ejemplo, la medición de la presión arterial ). Otros clasificadores funcionan comparando las observaciones con observaciones anteriores mediante una función de similitud o distancia .

Un algoritmo que implementa la clasificación, especialmente en una implementación concreta, se conoce como clasificador . El término "clasificador" a veces también se refiere a la función matemática , implementada por un algoritmo de clasificación, que asigna datos de entrada a una categoría.

La terminología varía considerablemente entre los distintos campos. En estadística , donde la clasificación se realiza a menudo con regresión logística o un procedimiento similar, las propiedades de las observaciones se denominan variables explicativas (o variables independientes , regresores, etc.), y las categorías que se van a predecir se conocen como resultados, que se consideran valores posibles de la variable dependiente . En aprendizaje automático , las observaciones se conocen a menudo como instancias , las variables explicativas se denominan características (agrupadas en un vector de características ), y las posibles categorías que se van a predecir son clases . Otros campos pueden utilizar una terminología diferente: por ejemplo, en ecología de comunidades , el término "clasificación" normalmente se refiere al análisis de clústeres .

La clasificación y la agrupación son ejemplos del problema más general del reconocimiento de patrones , que consiste en asignar algún tipo de valor de salida a un valor de entrada dado. Otros ejemplos son la regresión , que asigna una salida de valor real a cada entrada; el etiquetado de secuencias , que asigna una clase a cada miembro de una secuencia de valores (por ejemplo, el etiquetado de partes de la oración , que asigna una parte de la oración a cada palabra en una oración de entrada); el análisis sintáctico , que asigna un árbol de análisis sintáctico a una oración de entrada, describiendo la estructura sintáctica de la oración; etc.

Una subclase común de clasificación es la clasificación probabilística . Los algoritmos de este tipo utilizan inferencia estadística para encontrar la mejor clase para una instancia dada. A diferencia de otros algoritmos, que simplemente arrojan una clase "mejor", los algoritmos probabilísticos arrojan una probabilidad de que la instancia pertenezca a cada una de las clases posibles. La mejor clase se selecciona normalmente como aquella con la probabilidad más alta. Sin embargo, este algoritmo presenta numerosas ventajas sobre los clasificadores no probabilísticos:

• Puede generar un valor de confianza asociado a su elección (en general, un clasificador que puede hacer esto se conoce como clasificador ponderado por confianza ).
• En consecuencia, puede abstenerse cuando su confianza en elegir un resultado en particular es demasiado baja.
• Debido a las probabilidades que se generan, los clasificadores probabilísticos pueden incorporarse de manera más eficaz a tareas de aprendizaje automático más complejas, evitando parcial o totalmente el problema de la propagación de errores .

Los primeros trabajos sobre clasificación estadística fueron realizados por Fisher , ^{[ 1 ] [ 2 ]} en el contexto de problemas de dos grupos, lo que llevó a la función discriminante lineal de Fisher como regla para asignar un grupo a una nueva observación. ^{[ 3 ]} Este trabajo inicial asumió que los valores de datos dentro de cada uno de los dos grupos tenían una distribución normal multivariada . La extensión de este mismo contexto a más de dos grupos también se ha considerado con la restricción impuesta de que la regla de clasificación debe ser lineal . ^{[ 3 ] [ 4 ]} Trabajos posteriores para la distribución normal multivariada permitieron que el clasificador fuera no lineal : ^{[ 5 ]} se pueden derivar varias reglas de clasificación basadas en diferentes ajustes de la distancia de Mahalanobis , con una nueva observación asignada al grupo cuyo centro tiene la distancia ajustada más baja de la observación.

A diferencia de los procedimientos frecuentistas, los procedimientos de clasificación bayesiana proporcionan una forma natural de tener en cuenta cualquier información disponible sobre los tamaños relativos de los diferentes grupos dentro de la población general. ^{[ 6 ]} Los procedimientos bayesianos tienden a ser computacionalmente costosos y, en los días previos al desarrollo de los cálculos de Monte Carlo de cadena de Markov , se idearon aproximaciones para las reglas de agrupamiento bayesianas. ^{[ 7 ]}

Algunos procedimientos bayesianos implican el cálculo de probabilidades de pertenencia a grupos : estas proporcionan un resultado más informativo que la simple atribución de una única etiqueta de grupo a cada nueva observación.

La clasificación puede considerarse como dos problemas distintos: la clasificación binaria y la clasificación multiclase . En la clasificación binaria, una tarea mejor comprendida, solo intervienen dos clases, mientras que la clasificación multiclase implica asignar un objeto a una de varias clases. ^{[ 8 ]} Dado que se han desarrollado muchos métodos de clasificación específicamente para la clasificación binaria, la clasificación multiclase suele requerir el uso combinado de varios clasificadores binarios.

La mayoría de los algoritmos describen una instancia individual cuya categoría se va a predecir utilizando un vector de características de propiedades individuales y medibles de la instancia. Cada propiedad se denomina característica , también conocida en estadística como variable explicativa (o variable independiente , aunque las características pueden o no ser estadísticamente independientes ). Las características pueden ser binarias (p. ej., "encendido" o "apagado"); categóricas (p. ej., "A", "B", "AB" u "O", para el grupo sanguíneo ); ordinales (p. ej., "grande", "mediano" o "pequeño"); de valor entero (p. ej., el número de ocurrencias de una palabra en particular en un correo electrónico); o de valor real (p. ej., una medición de la presión arterial). Si la instancia es una imagen, los valores de las características podrían corresponder a los píxeles de la imagen; si la instancia es un texto, los valores de las características podrían ser las frecuencias de ocurrencia de diferentes palabras. Algunos algoritmos funcionan únicamente con datos discretos y requieren que los datos de valor real o entero se discreticen en grupos (por ejemplo, menores de 5, entre 5 y 10, o mayores de 10).

Un gran número de algoritmos de clasificación pueden expresarse en términos de una función lineal que asigna una puntuación a cada categoría posible k combinando el vector de características de una instancia con un vector de pesos, mediante un producto escalar . La categoría predicha es la que tiene la puntuación más alta. Este tipo de función de puntuación se conoce como función predictora lineal y tiene la siguiente forma general: donde X _i es el vector de características para la instancia i , β _k es el vector de pesos correspondiente a la categoría k , y score( X _i , k ) es la puntuación asociada con la asignación de la instancia i a la categoría k . En la teoría de la elección discreta , donde las instancias representan personas y las categorías representan elecciones, la puntuación se considera la utilidad asociada con la persona i que elige la categoría k . $${\displaystyle \operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}$$

Los algoritmos con esta configuración básica se conocen como clasificadores lineales . Lo que los distingue es el procedimiento para determinar (entrenar) los pesos/coeficientes óptimos y la forma en que se interpreta la puntuación.

Ejemplos de dichos algoritmos incluyen:

• Regresión logística  : modelo estadístico para una variable dependiente binaria.
  • Regresión logística multinomial  : regresión para más de dos resultados discretos.
• Regresión probit  : regresión estadística donde la variable dependiente solo puede tomar dos valores.Páginas que muestran breves descripciones de destinos de redireccionamiento
• El algoritmo del perceptrón
• Máquina de vectores de soporte  : conjunto de métodos para el aprendizaje estadístico supervisado.
• Análisis discriminante lineal  : método utilizado en estadística, reconocimiento de patrones y otros campos.

Dado que ninguna forma de clasificación es apropiada para todos los conjuntos de datos, se ha desarrollado un amplio conjunto de algoritmos de clasificación. Los más utilizados incluyen: ^{[ 9 ]}

• Redes neuronales artificiales  : modelo computacional utilizado en el aprendizaje automático.Páginas que muestran breves descripciones de destinos de redireccionamiento
• Boosting (aprendizaje automático)  – Método de aprendizaje de conjunto
• Bosque aleatorio  : métodos de aprendizaje automático de conjunto basados ​​en árboles
• Programación genética  : desarrollo de programas informáticos mediante técnicas análogas a los procesos genéticos naturales.
  • Programación de la expresión génica  : algoritmo evolutivo
  • Programación de expresiones múltiples
  • Programación genética lineal
• Estimación de núcleo  : un concepto en estadística.Páginas que muestran breves descripciones de destinos de redireccionamiento
  •  Método de clasificación no paramétrica de k vecinos más cercanosPáginas que muestran breves descripciones de destinos de redireccionamiento
• Aprendizaje de la cuantización vectorial
• Clasificador lineal  : clasificación estadística en aprendizaje automático
  • Discriminante lineal de Fisher  : método utilizado en estadística, reconocimiento de patrones y otros campos.Páginas que muestran breves descripciones de destinos de redireccionamiento
  • Regresión logística  : modelo estadístico para una variable dependiente binaria.
  • Clasificador Naive Bayes  : algoritmo de clasificación probabilística
  • Perceptrón  : algoritmo para el aprendizaje supervisado de clasificadores binarios.
• Clasificador cuadrático  : clasificador estadístico en aprendizaje automático
• Máquina de vectores de soporte  : conjunto de métodos para el aprendizaje estadístico supervisado.
  • Máquina de vectores de soporte de mínimos cuadrados

La elección entre los diferentes algoritmos posibles se suele realizar en función de una evaluación cuantitativa de la precisión .

La clasificación tiene muchas aplicaciones. En algunas de ellas, se emplea como procedimiento de minería de datos , mientras que en otras se realiza un modelado estadístico más detallado.

• Clasificación biológica  : la ciencia de identificar, describir, definir y nombrar grupos de organismos biológicos.
• Biometría  : métricas relacionadas con Páginas que muestran breves descripciones de destinos de redireccionamientola identificación de características humanas
• Visión por computadora  : extracción computarizada de información a partir de imágenes.
  • Análisis de imágenes médicas e imágenes médicas  : técnica y proceso de creación de representaciones visuales del interior de un cuerpo.
  • Reconocimiento óptico de caracteres  : reconocimiento informático de texto visual.
  • Seguimiento de vídeo  : Localización de un objeto en movimiento mediante el análisis de fotogramas de un vídeo.
• Puntuación crediticia  : expresión numérica que representa la solvencia de una persona.Páginas que muestran breves descripciones de destinos de redireccionamiento
• Clasificación de documentos  : proceso de categorización de documentos.
• Descubrimiento y desarrollo de fármacos  : proceso para llevar un nuevo medicamento farmacéutico al mercado.
  • Toxicogenómica
  • Relación cuantitativa estructura-actividad  : modelo químico predictivoPáginas que muestran breves descripciones de destinos de redireccionamiento
• Geoestadística  : rama de la estadística centrada en conjuntos de datos espaciales.
• Reconocimiento de escritura a mano  : Capacidad de una computadora para recibir e interpretar texto escrito a mano inteligible.
• motores de búsqueda de Internet
• Clasificación de microarrays
• Reconocimiento de patrones  : reconocimiento automatizado de patrones y regularidades en los datos.
• Sistema de recomendación  : sistema para predecir las preferencias de los usuarios.
• Reconocimiento de voz  : conversión automática del lenguaje hablado a texto.
• Procesamiento estadístico del lenguaje natural  : procesamiento del lenguaje natural por una computadora.Páginas que muestran breves descripciones de destinos de redireccionamiento