Teoría M (marco de aprendizaje)

Un gran desafío en las tareas de reconocimiento visual es que un mismo objeto puede verse en diversas condiciones. Puede observarse desde diferentes distancias, distintos puntos de vista, con distinta iluminación, parcialmente oculto, etc. Además, para ciertas clases de objetos, como los rostros, pueden ser relevantes transformaciones específicas muy complejas, como cambios en las expresiones faciales. Para aprender a reconocer imágenes, resulta muy beneficioso eliminar estas variaciones. Esto simplifica considerablemente el problema de clasificación y, por consiguiente, reduce notablemente la complejidad de la muestra del modelo.

Un sencillo experimento computacional ilustra esta idea. Se entrenaron dos instancias de un clasificador para distinguir imágenes de aviones de imágenes de automóviles. Para el entrenamiento y la prueba de la primera instancia, se utilizaron imágenes con puntos de vista arbitrarios. La segunda instancia recibió únicamente imágenes vistas desde un punto de vista específico, lo que equivalía a entrenar y probar el sistema con una representación invariante de las imágenes. Se puede observar que el segundo clasificador tuvo un rendimiento bastante bueno incluso después de recibir un solo ejemplo de cada categoría, mientras que el rendimiento del primer clasificador fue similar al de una suposición aleatoria incluso después de ver 20 ejemplos.

Las representaciones invariantes se han incorporado a diversas arquitecturas de aprendizaje, como los neocognitrones . Sin embargo, la mayoría de estas arquitecturas proporcionaban invariancia mediante características o propiedades propias de la arquitectura. Si bien resulta útil tener en cuenta algunos tipos de transformaciones, como las traslaciones, resulta muy complejo incorporar otras, como las rotaciones 3D y los cambios en las expresiones faciales. La teoría M proporciona un marco para comprender cómo se pueden aprender dichas transformaciones. Además de una mayor flexibilidad, esta teoría también sugiere que el cerebro humano podría poseer capacidades similares.

Otra idea central de la teoría M guarda una estrecha relación con conceptos del campo de la detección comprimida . Una implicación del lema de Johnson-Lindenstrauss indica que , mediante proyecciones aleatorias, se puede incrustar un número determinado de imágenes en un espacio de características de baja dimensión con la misma distancia entre ellas. Este resultado sugiere que el producto escalar entre la imagen observada y otra imagen almacenada en memoria, denominada plantilla, puede utilizarse como una característica para distinguir la imagen de otras. La plantilla no tiene por qué estar relacionada con la imagen; puede elegirse aleatoriamente.

Las dos ideas descritas en secciones anteriores se pueden combinar para construir un marco para el aprendizaje de representaciones invariantes. La observación clave es cómo el producto escalar entre imágenes${\displaystyle I}$y una plantilla${\displaystyle t}$se comporta cuando la imagen se transforma (mediante transformaciones como traslaciones, rotaciones, escalas, etc.). Si la transformación${\displaystyle g}$Si es miembro de un grupo unitario de transformaciones, entonces se cumple lo siguiente:

${\displaystyle \langle gI,t\rangle =\langle I,g^{-1}t\rangle \qquad (1)}$

En otras palabras, el producto escalar de la imagen transformada y la plantilla es igual al producto escalar de la imagen original y la plantilla transformada inversamente. Por ejemplo, si la imagen se rota 90 grados, la plantilla transformada inversamente se rotará −90 grados.

Consideremos el conjunto de productos escalares de una imagen.${\displaystyle I}$a todas las transformaciones posibles de la plantilla:${\displaystyle \lbrace \langle I,g^{\prime }t\rangle \mid g^{\prime }\in G\rbrace }$Si se aplica una transformación${\displaystyle g}$a${\displaystyle I}$, el conjunto se convertiría en${\displaystyle \lbrace \langle gI,g^{\prime }t\rangle \mid g^{\prime }\in G\rbrace }$. Pero debido a la propiedad (1), esto es igual a${\displaystyle \lbrace \langle I,g^{-1}g^{\prime }t\rangle \mid g^{\prime }\in G\rbrace }$. El conjunto${\displaystyle \lbrace g^{-1}g^{\prime }\mid g^{\prime }\in G\rbrace }$es igual al conjunto de todos los elementos en${\displaystyle G}$Para ver esto, observe que cada${\displaystyle g^{-1}g^{\prime }}$está en${\displaystyle G}$debido a la propiedad de cierre de los grupos y para cada${\displaystyle g^{\prime \prime }}$En G existe su prototipo${\displaystyle g^{\prime }}$como${\displaystyle g^{\prime \prime }=g^{-1}g^{\prime }}$(a saber,${\displaystyle g^{\prime }=gg^{\prime \prime }}$). De este modo,${\displaystyle \lbrace \langle I,g^{-1}g^{\prime }t\rangle \mid g^{\prime }\in G\rbrace =\lbrace \langle I,g^{\prime \prime }t\rangle \mid g^{\prime \prime }\in G\rbrace }$Se puede observar que el conjunto de productos escalares permanece invariable a pesar de la transformación aplicada a la imagen. Este conjunto, por sí solo, puede servir como una representación invariante (aunque bastante compleja) de una imagen. A partir de él, se pueden derivar representaciones más prácticas.

En la sección introductoria, se afirmó que la teoría M permite aprender representaciones invariantes. Esto se debe a que las plantillas y sus versiones transformadas pueden aprenderse a partir de la experiencia visual, exponiendo el sistema a secuencias de transformaciones de objetos. Es plausible que se produzcan experiencias visuales similares en la primera infancia, por ejemplo, cuando los bebés juegan con juguetes. Dado que las plantillas pueden no tener ninguna relación con las imágenes que el sistema intentará clasificar posteriormente, los recuerdos de estas experiencias visuales pueden servir de base para reconocer muchos tipos diferentes de objetos en la edad adulta. Sin embargo, como se muestra más adelante, para algunos tipos de transformaciones se necesitan plantillas específicas.

Para implementar las ideas descritas en secciones anteriores, es necesario saber cómo obtener una representación invariante y computacionalmente eficiente de una imagen. Esta representación única para cada imagen se puede caracterizar mediante un conjunto de distribuciones de probabilidad unidimensionales (distribuciones empíricas de los productos escalares entre la imagen y un conjunto de plantillas almacenadas durante el aprendizaje no supervisado). Estas distribuciones de probabilidad, a su vez, se pueden describir mediante histogramas o un conjunto de sus momentos estadísticos, como se mostrará más adelante.

Órbita${\displaystyle O_{I}}$es un conjunto de imágenes${\displaystyle gI}$generada a partir de una sola imagen${\displaystyle I}$bajo la acción del grupo${\displaystyle G,\forall g\in G}$.

En otras palabras, las imágenes de un objeto y de sus transformaciones corresponden a una órbita.${\displaystyle O_{I}}$Si dos órbitas tienen un punto en común, son idénticas en todas partes, ^{[ 2 ]} es decir, una órbita es una representación invariante y única de una imagen. Por lo tanto, dos imágenes se denominan equivalentes cuando pertenecen a la misma órbita:${\displaystyle I\sim I^{\prime }}$si${\displaystyle \exists g\in G}$de tal manera que${\displaystyle I^{\prime }=gI}$. Por el contrario, dos órbitas son diferentes si ninguna de las imágenes de una órbita coincide con ninguna imagen de la otra. ^{[ 3 ]}

Surge una pregunta natural: ¿cómo se pueden comparar dos órbitas? Existen varios enfoques posibles. Uno de ellos se basa en el hecho de que, intuitivamente, dos órbitas empíricas son iguales independientemente del orden de sus puntos. Por lo tanto, se puede considerar una distribución de probabilidad.${\displaystyle P_{I}}$inducido por la acción del grupo sobre las imágenes${\displaystyle I}$(${\displaystyle gI}$puede considerarse como una realización de una variable aleatoria).

Esta distribución de probabilidad${\displaystyle P_{I}}$puede caracterizarse casi de forma única por${\displaystyle K}$distribuciones de probabilidad unidimensionales${\displaystyle P_{\langle I,t^{k}\rangle }}$inducido por los resultados (unidimensionales) de las proyecciones${\displaystyle \langle I,t^{k}\rangle }$, dónde${\displaystyle t^{k},k=1,\ldots ,K}$son un conjunto de plantillas (imágenes elegidas al azar) (basadas en el teorema de Cramer-Wold ^{[ 4 ]} y la concentración de medidas).

Considerar${\displaystyle n}$imágenes${\displaystyle X_{n}\in X}$. Dejar${\displaystyle K\geq {\frac {2}{c\varepsilon ^{2}}}\log {\frac {n}{\delta }}}$, dónde${\displaystyle c}$es una constante universal. Entonces

${\displaystyle |d(P_{I},P_{I}^{\prime })-dK(P_{I},P_{I}^{\prime })|\leq \varepsilon ,}$

con probabilidad${\displaystyle 1-\delta ^{2}}$, para todos${\displaystyle I,I^{\prime }}$${\displaystyle \in }$${\displaystyle X_{n}}$.

Este resultado (de manera informal) indica que una representación aproximadamente invariante y única de una imagen${\displaystyle I}$se puede obtener a partir de las estimaciones de${\displaystyle K}$Distribuciones de probabilidad unidimensionales${\displaystyle P_{\langle I,t^{k}\rangle }}$para${\displaystyle k=1,\ldots ,K}$. El número${\displaystyle K}$de proyecciones necesarias para discriminar${\displaystyle n}$órbitas, inducidas por${\displaystyle n}$imágenes, hasta precisión${\displaystyle \varepsilon }$(y con confianza)${\displaystyle 1-\delta ^{2}}$) es${\displaystyle K\geq {\frac {2}{c\varepsilon ^{2}}}\log {\frac {n}{\delta }}}$, dónde${\displaystyle c}$es una constante universal.

Para clasificar una imagen, se puede utilizar la siguiente "receta":

1. Memoriza un conjunto de imágenes u objetos llamados plantillas;
2. Memoriza las transformaciones observadas para cada plantilla;
3. Calcula los productos escalares de sus transformaciones con la imagen;
4. Calcula el histograma de los valores resultantes, denominado firma de la imagen;
5. Compare el histograma obtenido con las firmas almacenadas en la memoria.

Estimaciones de dichas funciones de densidad de probabilidad unidimensionales (PDF).${\displaystyle P_{\langle I,t^{k}\rangle }}$se puede escribir en términos de histogramas como${\displaystyle \mu _{n}^{k}(I)=1/\left|G\right|\sum _{i=1}^{\left|G\right|}\eta _{n}(\langle I,g_{i}t^{k}\rangle )}$, dónde${\displaystyle \eta _{n},n=1,\ldots ,N}$es un conjunto de funciones no lineales. Estas distribuciones de probabilidad unidimensionales se pueden caracterizar con histogramas de N intervalos o con un conjunto de momentos estadísticos. Por ejemplo, HMAX representa una arquitectura en la que la agregación se realiza mediante una operación de máximo.

En la "receta" para la clasificación de imágenes, los grupos de transformaciones se aproximan con un número finito de transformaciones. Dicha aproximación solo es posible cuando el grupo es compacto .

Los grupos que incluyen todas las traslaciones y todos los escalados de la imagen no son compactos, ya que permiten transformaciones arbitrariamente grandes. Sin embargo, son localmente compactos . Para grupos localmente compactos, se puede lograr la invariancia dentro de un cierto rango de transformaciones. ^{[ 2 ]}

Supongamos que${\displaystyle G_{0}}$es un subconjunto de transformaciones de${\displaystyle G}$para los cuales los patrones transformados existen en la memoria. Para una imagen${\displaystyle I}$y plantilla${\displaystyle t_{k}}$, supongamos que${\displaystyle \langle I,g^{-1}t_{k}\rangle }$es igual a cero en todas partes excepto en algún subconjunto de${\displaystyle G_{0}}$Este subconjunto se denomina soporte de${\displaystyle \langle I,g^{-1}t_{k}\rangle }$y se denota como${\displaystyle \operatorname {supp} (\langle I,g^{-1}t_{k}\rangle )}$Se puede demostrar que si para una transformación${\displaystyle g^{\prime }}$, el conjunto de soporte también estará dentro${\displaystyle g^{\prime }G_{0}}$, luego firma de${\displaystyle I}$es invariante con respecto a${\displaystyle g^{\prime }}$. ^{[ 2 ]} Este teorema determina el rango de transformaciones para las cuales se garantiza que se cumple la invariancia.

Se puede ver que el más pequeño es${\displaystyle \operatorname {supp} (\langle I,g^{-1}t_{k}\rangle )}$Cuanto mayor sea el rango de transformaciones para las que se garantiza la invariancia, significa que para un grupo que es solo localmente compacto, no todas las plantillas funcionarían igual de bien. Las plantillas preferibles son aquellas con un rango razonablemente pequeño.${\displaystyle \operatorname {supp} (\langle gI,t_{k}\rangle )}$para una imagen genérica. Esta propiedad se llama localización: las plantillas son sensibles solo a imágenes dentro de un pequeño rango de transformaciones. Aunque minimizando${\displaystyle \operatorname {supp} (\langle gI,t_{k}\rangle )}$No es absolutamente necesario para que el sistema funcione, pero mejora la aproximación de la invariancia. Requerir la localización simultáneamente para la traslación y la escala produce un tipo muy específico de plantillas: las funciones de Gabor . ^{[ 2 ]}

La conveniencia de utilizar plantillas personalizadas para grupos no compactos entra en conflicto con el principio de aprendizaje de representaciones invariantes. Sin embargo, para ciertos tipos de transformaciones de imágenes frecuentes, las plantillas podrían ser el resultado de adaptaciones evolutivas. Datos neurobiológicos sugieren que existe una sintonización similar a la de Gabor en la primera capa de la corteza visual. ^{[ 5 ]} La optimalidad de las plantillas de Gabor para traslaciones y escalas es una posible explicación de este fenómeno.

Muchas transformaciones interesantes de imágenes no forman grupos. Por ejemplo, las transformaciones de imágenes asociadas a la rotación 3D del objeto 3D correspondiente no forman un grupo, ya que es imposible definir una transformación inversa (dos objetos pueden verse iguales desde un ángulo pero diferentes desde otro). Sin embargo, aún es posible lograr una invariancia aproximada incluso para transformaciones que no forman grupos, si se cumple la condición de localización para las plantillas y la transformación se puede linealizar localmente.

Como se mencionó en la sección anterior, para casos específicos de traslaciones y escalado, la condición de localización puede satisfacerse mediante el uso de plantillas de Gabor genéricas. Sin embargo, para transformaciones generales (no grupales), la condición de localización solo puede satisfacerse para una clase específica de objetos. ^{[ 2 ]} Más específicamente, para satisfacer la condición, las plantillas deben ser similares a los objetos que se desean reconocer. Por ejemplo, si se desea construir un sistema para reconocer rostros rotados en 3D, es necesario utilizar otros rostros rotados en 3D como plantillas. Esto podría explicar la existencia de módulos especializados en el cerebro, como el responsable del reconocimiento facial . ^{[ 2 ]} Incluso con plantillas personalizadas, es necesaria una codificación de imágenes y plantillas similar al ruido para la localización. Esto se puede lograr de forma natural si la transformación no grupal se procesa en cualquier capa que no sea la primera en la arquitectura de reconocimiento jerárquico.

La sección anterior sugiere una motivación para las arquitecturas jerárquicas de reconocimiento de imágenes. Sin embargo, también ofrecen otros beneficios.

En primer lugar, las arquitecturas jerárquicas son las más adecuadas para analizar una escena visual compleja con numerosos objetos compuestos por múltiples partes, cuya posición relativa puede variar considerablemente. En este caso, los distintos elementos del sistema deben reaccionar ante diferentes objetos y partes. En las arquitecturas jerárquicas, las representaciones de las partes en diferentes niveles de jerarquía de incrustación pueden almacenarse en distintas capas de la jerarquía.

En segundo lugar, las arquitecturas jerárquicas con representaciones invariantes para las partes de los objetos pueden facilitar el aprendizaje de conceptos compositivos complejos. Esta facilitación puede producirse mediante la reutilización de representaciones aprendidas de partes construidas previamente durante el aprendizaje de otros conceptos. Como resultado, la complejidad de los ejemplos para el aprendizaje de conceptos compositivos puede reducirse considerablemente.

Finalmente, las arquitecturas jerárquicas presentan una mayor tolerancia al desorden. El problema del desorden surge cuando el objeto objetivo se encuentra frente a un fondo no uniforme, que actúa como distractor para la tarea visual. La arquitectura jerárquica proporciona firmas para partes de los objetos objetivo, que no incluyen partes del fondo y no se ven afectadas por las variaciones del mismo. ^{[ 6 ]}

En las arquitecturas jerárquicas, una capa no es necesariamente invariante a todas las transformaciones que maneja la jerarquía en su conjunto. Algunas transformaciones pueden pasar a través de esa capa hacia capas superiores, como en el caso de las transformaciones no grupales descritas en la sección anterior. Para otras transformaciones, un elemento de la capa puede producir representaciones invariantes solo dentro de un pequeño rango de transformaciones. Por ejemplo, los elementos de las capas inferiores en la jerarquía tienen un campo visual pequeño y, por lo tanto, solo pueden manejar un pequeño rango de traslación. Para tales transformaciones, la capa debe proporcionar firmas covariantes en lugar de invariantes. La propiedad de covarianza se puede escribir como${\displaystyle \operatorname {distr} (\langle \mu _{l}(gI),\mu _{l}(t)\rangle )=\operatorname {distr} (\langle \mu _{l}(I),\mu _{l}(g^{-1}t)\rangle )}$, dónde${\displaystyle l}$es una capa,${\displaystyle \mu _{l}(I)}$es la firma de la imagen en esa capa, y${\displaystyle \operatorname {distr} }$significa "distribución de valores de la expresión para todos${\displaystyle g\in G}$".

En ^{[ 13 ] [ 14 ]} los autores aplicaron la teoría M al reconocimiento facial sin restricciones en fotografías naturales. A diferencia del método DAR (detección, alineación y reconocimiento), que maneja el ruido detectando objetos y recortando la imagen a su alrededor para que quede muy poco fondo, este enfoque logra la detección y alineación implícitamente almacenando transformaciones de imágenes de entrenamiento (plantillas) en lugar de detectar y alinear o recortar rostros explícitamente durante la prueba. Este sistema se basa en los principios de una teoría reciente de invariancia en redes jerárquicas y puede evitar el problema del ruido, generalmente problemático para los sistemas de alimentación directa. El sistema resultante de extremo a extremo logra una mejora drástica en el estado del arte en esta tarea de extremo a extremo, alcanzando el mismo nivel de rendimiento que los mejores sistemas que operan en imágenes alineadas y recortadas con precisión (sin datos de entrenamiento externos). También funciona bien en dos conjuntos de datos más recientes, similares a LFW, pero más difíciles: una versión significativamente desordenada (desalineada) de LFW y SUFR-W (por ejemplo, la precisión del modelo en la categoría "no alineado y sin datos externos utilizados" de LFW es del 87,55 ± 1,41 % en comparación con el APEM (adaptative probabilistic elastic matching) de última generación: 81,70 ± 1,78 %).

La teoría también se aplicó a una variedad de tareas de reconocimiento: desde el reconocimiento invariante de objetos individuales en entornos desordenados hasta problemas de categorización multiclase en conjuntos de datos disponibles públicamente (CalTech5, CalTech101, MIT-CBCL) y tareas complejas de comprensión de escenas (calles) que requieren el reconocimiento de objetos basados ​​tanto en la forma como en la textura (en el conjunto de datos StreetScenes). ^{[ 12 ]} El enfoque funciona realmente bien: tiene la capacidad de aprender a partir de solo unos pocos ejemplos de entrenamiento y se demostró que supera a varios modelos de constelación de sistemas de última generación más complejos, el sistema jerárquico de detección de rostros basado en SVM. Un elemento clave en el enfoque es un nuevo conjunto de detectores de características tolerantes a la escala y la posición, que son biológicamente plausibles y concuerdan cuantitativamente con las propiedades de sintonización de las células a lo largo de la vía ventral de la corteza visual. Estas características son adaptativas al conjunto de entrenamiento, aunque también mostramos que un conjunto de características universales, aprendido a partir de un conjunto de imágenes naturales no relacionadas con ninguna tarea de categorización, también logra un buen rendimiento.

Esta teoría también puede extenderse al dominio del reconocimiento de voz. Por ejemplo, en ^{[ 15 ]} se propuso una extensión de una teoría para el aprendizaje no supervisado de representaciones visuales invariantes al dominio auditivo y se evaluó empíricamente su validez para la clasificación de sonidos de habla sonora. Los autores demostraron empíricamente que una representación de una sola capa, a nivel de fonema, extraída de características de habla base, mejora la precisión de la clasificación de segmentos y disminuye el número de ejemplos de entrenamiento en comparación con las características espectrales y cepstrales estándar para una tarea de clasificación acústica en el conjunto de datos TIMIT. ^{[ 16 ]}