Conocimientos previos para el reconocimiento de patrones

El reconocimiento de patrones es un campo de investigación muy activo, íntimamente ligado al aprendizaje automático . También conocido como clasificación o clasificación estadística , el reconocimiento de patrones busca construir un clasificador capaz de determinar la clase de un patrón de entrada. Este procedimiento, denominado entrenamiento, consiste en aprender una función de decisión desconocida a partir únicamente de un conjunto de pares entrada-salida.${\displaystyle ({\boldsymbol {x}}_{i},y_{i})}$que conforman los datos de entrenamiento (o conjunto de entrenamiento). Sin embargo, en aplicaciones del mundo real, como el reconocimiento de caracteres , generalmente se dispone de cierta información previa sobre el problema. La incorporación de este conocimiento previo al entrenamiento es el elemento clave que permitirá mejorar el rendimiento en muchas aplicaciones.

El conocimiento previo ^{[ 1 ]} se refiere a toda la información disponible sobre el problema, además de los datos de entrenamiento. Sin embargo, en esta forma más general, determinar un modelo a partir de un conjunto finito de muestras sin conocimiento previo es un problema mal condicionado , en el sentido de que puede que no exista un modelo único. Muchos clasificadores incorporan la suposición general de suavidad según la cual un patrón de prueba similar a una de las muestras de entrenamiento tiende a asignarse a la misma clase.

La importancia del conocimiento previo en el aprendizaje automático se evidencia en su papel en la búsqueda y la optimización. En términos generales, el teorema de la imposibilidad de obtener resultados óptimos establece que todos los algoritmos de búsqueda tienen el mismo rendimiento promedio en todos los problemas, lo que implica que para mejorar el rendimiento en una aplicación específica se debe utilizar un algoritmo especializado que incluya cierto conocimiento previo sobre el problema.

Los diferentes tipos de conocimiento previo que se encuentran en el reconocimiento de patrones ahora se agrupan en dos categorías principales: invariancia de clase y conocimiento sobre los datos.

Un tipo de conocimiento previo muy común en el reconocimiento de patrones es la invariancia de la clase (o la salida del clasificador) ante una transformación del patrón de entrada. Este tipo de conocimiento se denomina invariancia a la transformación . Las transformaciones más utilizadas en el reconocimiento de imágenes son:

• traducción ;
• rotación ;
• sesgo ;
• escalamiento .

Incorporar la invariancia a una transformación${\displaystyle T_{\theta }:{\boldsymbol {x}}\mapsto T_{\theta }{\boldsymbol {x}}}$parametrizado en${\displaystyle \theta }$ en un clasificador de salida${\displaystyle f({\boldsymbol {x}})}$para un patrón de entrada${\displaystyle {\boldsymbol {x}}}$corresponde a hacer cumplir la igualdad

${\displaystyle f({\boldsymbol {x}})=f(T_{\theta }{\boldsymbol {x}}),\quad \forall {\boldsymbol {x}},\theta .}$

También se puede considerar la invariancia local para una transformación centrada en${\displaystyle \theta =0}$, de modo que${\displaystyle T_{0}{\boldsymbol {x}}={\boldsymbol {x}}}$, mediante el uso de la restricción

${\displaystyle \left.{\frac {\partial }{\partial \theta }}\right|_{\theta =0}f(T_{\theta }{\boldsymbol {x}})=0.}$

La función${\displaystyle f}$En estas ecuaciones puede ser tanto la función de decisión del clasificador como su salida de valor real.

Otro enfoque consiste en considerar la invariancia de clase con respecto a un "dominio del espacio de entrada" en lugar de una transformación. En este caso, el problema se convierte en encontrar${\displaystyle f}$de modo que

${\displaystyle f({\boldsymbol {x}})=y_{\mathcal {P}},\ \forall {\boldsymbol {x}}\in {\mathcal {P}},}$

dónde${\displaystyle y_{\mathcal {P}}}$es la clase de membresía de la región${\displaystyle {\mathcal {P}}}$del espacio de entrada.

Otro tipo de invariancia de clase que se encuentra en el reconocimiento de patrones es la invariancia de permutación , es decir, la invariancia de la clase ante una permutación de elementos en una entrada estructurada. Una aplicación típica de este tipo de conocimiento previo es un clasificador invariante a las permutaciones de las filas de las matrices de entrada.

Otras formas de conocimiento previo, además de la invariancia de clase, se refieren a los datos de manera más específica y, por lo tanto, son de particular interés para aplicaciones del mundo real. Los tres casos particulares que se presentan con mayor frecuencia al recopilar datos son:

• Se encuentran disponibles muestras sin etiquetar con supuestas pertenencias a clases;
• Desequilibrio del conjunto de entrenamiento debido a una alta proporción de muestras de una clase;
• La calidad de los datos puede variar de una muestra a otra.

El conocimiento previo de estos factores puede mejorar la calidad del reconocimiento si se incluye en el aprendizaje. Además, no tener en cuenta la mala calidad de algunos datos o un gran desequilibrio entre las clases puede llevar a un error en la decisión del clasificador.

• E. Krupka y N. Tishby, " Incorporación de conocimientos previos sobre características en el aprendizaje ", Undécima Conferencia Internacional sobre Inteligencia Artificial y Estadística (AISTATS 07)