Reconocimiento de patrones

El reconocimiento de patrones es la tarea de asignar una clase a una observación basándose en patrones extraídos de los datos. Si bien son similares, el reconocimiento de patrones (RP) no debe confundirse con las máquinas de patrones (MP), que pueden poseer capacidades de RP, pero cuya función principal es distinguir y crear patrones emergentes. El RP tiene aplicaciones en el análisis de datos estadísticos , el procesamiento de señales , el análisis de imágenes , la recuperación de información , la bioinformática , la compresión de datos , los gráficos por computadora y el aprendizaje automático . El reconocimiento de patrones tiene sus orígenes en la estadística y la ingeniería; algunos enfoques modernos para el reconocimiento de patrones incluyen el uso del aprendizaje automático , debido a la mayor disponibilidad de macrodatos y una nueva abundancia de capacidad de procesamiento .

Los sistemas de reconocimiento de patrones se entrenan habitualmente con datos de entrenamiento etiquetados. Cuando no se dispone de datos etiquetados , se pueden utilizar otros algoritmos para descubrir patrones previamente desconocidos. El descubrimiento de conocimiento en el dominio de la lógica (KDD) y la minería de datos se centran más en métodos no supervisados ​​y tienen una conexión más estrecha con el ámbito empresarial. El reconocimiento de patrones se centra más en la señal y también tiene en cuenta la adquisición y el procesamiento de la misma . Se originó en la ingeniería y el término es popular en el contexto de la visión artificial : una importante conferencia sobre visión artificial se denomina Conferencia sobre Visión Artificial y Reconocimiento de Patrones .

En aprendizaje automático , el reconocimiento de patrones consiste en asignar una etiqueta a un valor de entrada dado. En estadística, el análisis discriminante se introdujo con este mismo propósito en 1936. Un ejemplo de reconocimiento de patrones es la clasificación , que intenta asignar cada valor de entrada a una de un conjunto dado de clases (por ejemplo, determinar si un correo electrónico dado es "spam"). El reconocimiento de patrones es un problema más general que abarca también otros tipos de salida. Otros ejemplos son la regresión , que asigna una salida de valor real a cada entrada; ^{[ 1 ]} el etiquetado de secuencias , que asigna una clase a cada miembro de una secuencia de valores ^{[ 2 ]} (por ejemplo, el etiquetado de partes de la oración , que asigna una parte de la oración a cada palabra en una oración de entrada); y el análisis sintáctico , que asigna un árbol de análisis sintáctico a una oración de entrada, describiendo la estructura sintáctica de la oración. ^{[ 3 ]}

Los algoritmos de reconocimiento de patrones generalmente buscan proporcionar una respuesta razonable para todas las entradas posibles y realizar la coincidencia "más probable" entre ellas, teniendo en cuenta su variación estadística. Esto contrasta con los algoritmos de coincidencia de patrones , que buscan coincidencias exactas en la entrada con patrones preexistentes. Un ejemplo común de algoritmo de coincidencia de patrones es la coincidencia de expresiones regulares , que busca patrones de un tipo determinado en datos textuales y está incluida en las funciones de búsqueda de muchos editores y procesadores de texto .

Una definición moderna de reconocimiento de patrones es:

El campo del reconocimiento de patrones se ocupa del descubrimiento automático de regularidades en los datos mediante el uso de algoritmos informáticos y del uso de estas regularidades para realizar acciones como clasificar los datos en diferentes categorías. ^{[ 4 ]}

El reconocimiento de patrones se clasifica generalmente según el tipo de procedimiento de aprendizaje utilizado para generar el valor de salida. El aprendizaje supervisado supone que se ha proporcionado un conjunto de datos de entrenamiento (el conjunto de entrenamiento ), que consiste en un conjunto de instancias que han sido etiquetadas correctamente a mano con la salida correcta. Un procedimiento de aprendizaje genera entonces un modelo que intenta cumplir dos objetivos a veces contradictorios: funcionar lo mejor posible en los datos de entrenamiento y generalizar lo mejor posible a nuevos datos (normalmente, esto significa ser lo más simple posible, para alguna definición técnica de "simple", de acuerdo con la navaja de Occam , que se analiza más adelante). El aprendizaje no supervisado , por otro lado, supone datos de entrenamiento que no han sido etiquetados a mano e intenta encontrar patrones inherentes en los datos que luego se pueden utilizar para determinar el valor de salida correcto para nuevas instancias de datos. ^{[ 5 ]} Una combinación de los dos que se ha explorado es el aprendizaje semisupervisado , que utiliza una combinación de datos etiquetados y no etiquetados (normalmente un pequeño conjunto de datos etiquetados combinado con una gran cantidad de datos no etiquetados). En los casos de aprendizaje no supervisado, puede que no haya datos de entrenamiento en absoluto.

A veces se utilizan términos diferentes para describir los procedimientos de aprendizaje supervisado y no supervisado correspondientes para el mismo tipo de resultado. El equivalente no supervisado de la clasificación se conoce normalmente como agrupamiento , basado en la percepción común de que la tarea no requiere prácticamente datos de entrenamiento y consiste en agrupar los datos de entrada en clústeres según alguna medida de similitud inherente (por ejemplo, la distancia entre instancias, consideradas como vectores en un espacio vectorial multidimensional ), en lugar de asignar cada instancia de entrada a una de un conjunto de clases predefinidas. En algunos campos, la terminología es diferente. En ecología de comunidades , el término clasificación se utiliza para referirse a lo que comúnmente se conoce como "agrupamiento".

El dato de entrada para el cual se genera un valor de salida se denomina formalmente instancia . La instancia se describe formalmente mediante un vector de características, que en conjunto constituyen una descripción de todas las características conocidas de la instancia. Estos vectores de características pueden considerarse como puntos definitorios en un espacio multidimensional apropiado , y se pueden aplicar a ellos métodos para manipular vectores en espacios vectoriales , como el cálculo del producto escalar o el ángulo entre dos vectores. Las características suelen ser categóricas (también conocidas como nominales , es decir, que consisten en uno de un conjunto de elementos no ordenados, como el género "masculino" o "femenino", o el grupo sanguíneo "A", "B", "AB" u "O"), ordinales (que consisten en uno de un conjunto de elementos ordenados, por ejemplo, "grande", "mediano" o "pequeño"), de valor entero (por ejemplo, el número de ocurrencias de una palabra en particular en un correo electrónico) o de valor real (por ejemplo, una medición de la presión arterial). Con frecuencia, los datos categóricos y ordinales se agrupan, al igual que los datos enteros y reales. Muchos algoritmos solo funcionan con datos categóricos y requieren que los datos reales o enteros se discreticen en grupos (por ejemplo, menores de 5, entre 5 y 10, o mayores de 10).

El problema del reconocimiento de patrones se puede plantear de la siguiente manera: Dada una función desconocida${\displaystyle g:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$(la verdad fundamental ) que mapea las instancias de entrada${\displaystyle {\boldsymbol {x}}\in {\mathcal {X}}}$para generar etiquetas${\displaystyle y\in {\mathcal {Y}}}$junto con los datos de entrenamiento${\displaystyle \mathbf {D} =\{({\boldsymbol {x}}_{1},y_{1}),\dots ,({\boldsymbol {x}}_{n},y_{n})\}}$Se supone que representan ejemplos precisos del mapeo, producen una función.${\displaystyle h:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$que se aproxime lo más posible al mapeo correcto${\displaystyle g}$. (Por ejemplo, si el problema es filtrar el spam, entonces${\displaystyle {\boldsymbol {x}}_{i}}$es alguna representación de un correo electrónico y${\displaystyle y}$es "spam" o "no spam"). Para que este sea un problema bien definido, "aproximarse lo más posible" debe definirse rigurosamente. En la teoría de la decisión , esto se define especificando una función de pérdida o función de costo que asigna un valor específico a la "pérdida" resultante de producir una etiqueta incorrecta. El objetivo entonces es minimizar la pérdida esperada , con la esperanza tomada sobre la distribución de probabilidad de${\displaystyle {\mathcal {X}}}$En la práctica, ni la distribución de${\displaystyle {\mathcal {X}}}$ni la función de verdad fundamental${\displaystyle g:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$se conocen con exactitud, pero solo se pueden calcular empíricamente mediante la recolección de una gran cantidad de muestras de${\displaystyle {\mathcal {X}}}$y etiquetándolos a mano utilizando el valor correcto de${\displaystyle {\mathcal {Y}}}$(un proceso que consume mucho tiempo, que suele ser el factor limitante en la cantidad de datos de este tipo que se pueden recopilar). La función de pérdida particular depende del tipo de etiqueta que se predice. Por ejemplo, en el caso de la clasificación , la función de pérdida simple de cero-uno suele ser suficiente. Esto corresponde simplemente a asignar una pérdida de 1 a cualquier etiquetado incorrecto e implica que el clasificador óptimo minimiza la tasa de error en datos de prueba independientes (es decir, contando la fracción de instancias que la función aprendida${\displaystyle h:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$etiquetar erróneamente, lo que equivale a maximizar el número de instancias clasificadas correctamente). El objetivo del procedimiento de aprendizaje es entonces minimizar la tasa de error (maximizar la corrección ) en un conjunto de prueba "típico".

Para un reconocedor de patrones probabilístico, el problema consiste en estimar la probabilidad de cada posible etiqueta de salida dada una instancia de entrada particular, es decir, estimar una función de la forma

${\displaystyle p({\rm {label}}|{\boldsymbol {x}},{\boldsymbol {\theta }})=f\left({\boldsymbol {x}};{\boldsymbol {\theta }}\right)}$

donde la entrada del vector de características es${\displaystyle {\boldsymbol {x}}}$y la función f se parametriza típicamente mediante algunos parámetros.${\displaystyle {\boldsymbol {\theta }}}$. ^{[ 8 ]} En un enfoque discriminativo del problema, f se estima directamente. Sin embargo, en un enfoque generativo , la probabilidad inversa${\displaystyle p({{\boldsymbol {x}}|{\rm {etiqueta}}})}$En cambio, se estima y se combina con la probabilidad previa.${\displaystyle p({\rm {etiqueta}}|{\boldsymbol {\theta }})}$Utilizando la regla de Bayes , de la siguiente manera:

${\displaystyle p({\rm {etiqueta}}|{\boldsymbol {x}},{\boldsymbol {\theta }})={\frac {p({{\boldsymbol {x}}|{\rm {etiqueta,{\boldsymbol {\theta }}}}})p({\rm {etiqueta|{\boldsymbol {\theta }}}})}{\sum _{L\in {\text{todas las etiquetas}}}p({\boldsymbol {x}}|L)p(L|{\boldsymbol {\theta }})}}.}$

Cuando las etiquetas se distribuyen de forma continua (por ejemplo, en un análisis de regresión ), el denominador implica integración en lugar de suma:

${\displaystyle p({\rm {etiqueta}}|{\boldsymbol {x}},{\boldsymbol {\theta }})={\frac {p({{\boldsymbol {x}}|{\rm {etiqueta,{\boldsymbol {\theta }}}}})p({\rm {etiqueta|{\boldsymbol {\theta }}}})}{\int _{L\in {\text{todas las etiquetas}}}p({\boldsymbol {x}}|L)p(L|{\boldsymbol {\theta }})\operatorname {d} L}}.}$

El valor de${\displaystyle {\boldsymbol {\theta }}}$Normalmente se aprende utilizando la estimación de máxima probabilidad a posteriori (MAP). Esta encuentra el mejor valor que satisface simultáneamente dos objetivos contradictorios: obtener el mejor rendimiento posible en los datos de entrenamiento (menor tasa de error ) y encontrar el modelo más simple posible. En esencia, esto combina la estimación de máxima verosimilitud con un procedimiento de regularización que favorece los modelos más simples sobre los más complejos. En un contexto bayesiano , el procedimiento de regularización puede verse como la imposición de una probabilidad a priori.${\displaystyle p({\boldsymbol {\theta }})}$en diferentes valores de${\displaystyle {\boldsymbol {\theta }}}$Matemáticamente:

${\displaystyle {\boldsymbol {\theta }}^{*}=\arg \max _{\boldsymbol {\theta }}p({\boldsymbol {\theta }}|\mathbf {D} )}$

dónde${\displaystyle {\boldsymbol {\theta }}^{*}}$es el valor utilizado para${\displaystyle {\boldsymbol {\theta }}}$en el procedimiento de evaluación subsiguiente, y${\displaystyle p({\boldsymbol {\theta }}|\mathbf {D} )}$, la probabilidad posterior de${\displaystyle {\boldsymbol {\theta }}}$, se da por

${\displaystyle p({\boldsymbol {\theta }}|\mathbf {D} )=\left[\prod _{i=1}^{n}p(y_{i}|{\boldsymbol {x}}_{i},{\boldsymbol {\theta }})\right]p({\boldsymbol {\theta }}).}$

En el enfoque bayesiano para este problema, en lugar de elegir un único vector de parámetros${\displaystyle {\boldsymbol {\theta }}^{*}}$, la probabilidad de una etiqueta determinada para una nueva instancia${\displaystyle {\boldsymbol {x}}}$se calcula integrando sobre todos los valores posibles de${\displaystyle {\boldsymbol {\theta }}}$ponderados según la probabilidad posterior:

${\displaystyle p({\rm {label}}|{\boldsymbol {x}})=\int p({\rm {label}}|{\boldsymbol {x}},{\boldsymbol {\theta }})p({\boldsymbol {\theta }}|\mathbf {D} )\operatorname {d} {\boldsymbol {\theta }}.}$

En el ámbito de la medicina, el reconocimiento de patrones es la base de los sistemas de diagnóstico asistido por ordenador (CAD). El CAD describe un procedimiento que respalda las interpretaciones y los hallazgos del médico. Otras aplicaciones típicas de las técnicas de reconocimiento de patrones son el reconocimiento automático del habla , la identificación del hablante , la clasificación de texto en varias categorías (por ejemplo, mensajes de correo electrónico no deseados o legítimos), el reconocimiento automático de la escritura a mano en sobres postales, el reconocimiento automático de imágenes de rostros humanos o la extracción de imágenes de escritura a mano de formularios médicos. ^{[ 9 ] [ 10 ]} Los dos últimos ejemplos conforman el subtema de análisis de imágenes del reconocimiento de patrones, que trata sobre imágenes digitales como entrada para los sistemas de reconocimiento de patrones. ^{[ 11 ] [ 12 ]}

El reconocimiento óptico de caracteres es un ejemplo de la aplicación de un clasificador de patrones. El método de firma se capturó con lápiz óptico y superposición a partir de 1990. Los trazos, la velocidad, el mínimo relativo, el máximo relativo, la aceleración y la presión se utilizan para identificar y confirmar la identidad de forma unívoca. Inicialmente, se ofreció esta tecnología a los bancos, pero estos prefirieron cobrar a la FDIC por cualquier fraude bancario y no quisieron causar molestias a sus clientes.

El reconocimiento de patrones tiene muchas aplicaciones prácticas en el procesamiento de imágenes. Algunos ejemplos incluyen:

• identificación y autenticación: por ejemplo, reconocimiento de matrículas , ^{[ 13 ]} análisis de huellas dactilares, detección/verificación facial , ^{[ 14 ]} y autenticación basada en voz . ^{[ 15 ]}
• diagnóstico médico: por ejemplo, detección de cáncer de cuello uterino (Papnet), ^{[ 16 ]} tumores de mama o sonidos cardíacos;
• Defensa: diversos sistemas de navegación y guiado, sistemas de reconocimiento de objetivos , tecnología de reconocimiento de formas, etc.
• movilidad: sistemas avanzados de asistencia al conductor , tecnología de vehículos autónomos , etc. ^{[ 17 ] [ 18 ] [ 19 ] [ 20 ] [ 21 ]}

En psicología, el reconocimiento de patrones se utiliza para comprender e identificar objetos, y está estrechamente relacionado con la percepción. Esto explica cómo se da significado a las entradas sensoriales que reciben los humanos. El reconocimiento de patrones puede entenderse de dos maneras diferentes. La primera se refiere a la comparación de plantillas y la segunda a la detección de características. Una plantilla es un patrón utilizado para producir elementos de las mismas proporciones. La hipótesis de comparación de plantillas sugiere que los estímulos entrantes se comparan con plantillas en la memoria a largo plazo. Si hay una coincidencia, el estímulo se identifica. Los modelos de detección de características, como el sistema Pandemonium para clasificar letras (Selfridge, 1959), sugieren que los estímulos se descomponen en sus partes componentes para su identificación. Una observación es una E mayúscula con tres líneas horizontales y una vertical. ^{[ 22 ]}

Los algoritmos de reconocimiento de patrones dependen del tipo de etiqueta de salida, de si el aprendizaje es supervisado o no supervisado, y de si el algoritmo es de naturaleza estadística o no estadística. Los algoritmos estadísticos pueden clasificarse además en generativos o discriminativos .

• Teoría de la resonancia adaptativa : una teoría en neuropsicología. 
• Caja negra : sistema en el que solo se pueden ver las entradas y salidas, pero no su implementación. 
• Modelo de lenguaje de caché
• Procesamiento de términos compuestos
• Diagnóstico asistido por computadora : tipo de diagnóstico asistido por computadoras. 
• Clasificación de imágenes contextuales
• Minería de datos : proceso de análisis de grandes conjuntos de datos. 
• Aprendizaje profundo : rama del aprendizaje automático 
• Modelo de caja gris : modelo matemático de producción de datos con estructura limitada. 
• Teoría de la información : estudio científico de la información digital. 
• Lista de conjuntos de datos para la investigación en aprendizaje automático
• Lista de software de análisis numérico
• Lista de bibliotecas numéricas
• Neocognitrón : un tipo de red neuronal artificial. 
• Percepción : interpretación de la información sensorial. 
• Aprendizaje perceptivo : proceso de aprendizaje para mejorar las habilidades de percepción. 
• Análisis predictivo : técnicas estadísticas que analizan hechos para hacer predicciones sobre eventos desconocidos. 
• Conocimientos previos para el reconocimiento de patrones
• Minería de secuencias : técnica de minería de datos. Páginas que muestran descripciones breves de los destinos de redireccionamiento. 
• Coincidencia de plantillas : técnica en el procesamiento de imágenes digitales 

• Fukunaga, Keinosuke (1990). Introducción al reconocimiento estadístico de patrones (2.ª  ed.). Boston: Academic Press. ISBN 978-0-12-269851-4.
• Hornegger, Joachim; Paulus, Dietrich WR (1999). Reconocimiento de patrones aplicado: Una introducción práctica al procesamiento de imágenes y voz en C++ (2.ª  ed.). San Francisco: Morgan Kaufmann Publishers. ISBN 978-3-528-15558-2.
• Schuermann, Juergen (1996). Clasificación de patrones: una visión unificada de los enfoques estadísticos y neuronales . Nueva York: Wiley. ISBN 978-0-471-13534-0.
• Godfried T. Toussaint, ed. (1988). Morfología computacional . Ámsterdam: North-Holland Publishing Company. ISBN 978-1-4832-9672-2.
• Kulikowski, Casimir A.; Weiss, Sholom M. (1991). Sistemas informáticos que aprenden: métodos de clasificación y predicción basados ​​en estadística, redes neuronales, aprendizaje automático y sistemas expertos . San Francisco: Morgan Kaufmann Publishers. ISBN 978-1-55860-065-2.
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). Clasificación de patrones (2.ª  ed.). Wiley-Interscience. ISBN 978-0-471-05669-0.
• Jain, Anil.K.; Duin, Robert.PW; Mao, Jianchang (2000). "Reconocimiento estadístico de patrones: una revisión". IEEE Transactions on Pattern Analysis and Machine Intelligence . 22 (1): 4– 37. Bibcode : 2000ITPAM..22....4J . CiteSeerX 10.1.1.123.8151 . doi : 10.1109/34.824819 . S2CID 192934 .  
• Tutorial introductorio sobre clasificadores (introducción de los términos básicos, con ejemplo numérico).
• Kovalevsky, VA (1980). Reconocimiento de patrones de imagen . Nueva York, NY: Springer New York. ISBN 978-1-4612-6033-2OCLC 852790446​​ 

• La Asociación Internacional para el Reconocimiento de Patrones
• Lista de sitios web de reconocimiento de patrones
• Revista de Investigación sobre Reconocimiento de Patrones Archivada el 8 de septiembre de 2008 en Wayback Machine
• Información sobre reconocimiento de patrones
• Reconocimiento de Patrones (Revista de la Sociedad de Reconocimiento de Patrones)
• Revista Internacional de Reconocimiento de Patrones e Inteligencia Artificial. Archivada el 11 de diciembre de 2004 en Wayback Machine.
• Revista Internacional de Reconocimiento de Patrones Aplicados
• El Proyecto de Reconocimiento de Patrones Abiertos (Open Pattern Recognition Project ) pretende ser una plataforma de código abierto para compartir algoritmos de reconocimiento de patrones.
• Coincidencia de patrones rápida mejorada Coincidencia de patrones rápida mejorada