Alineación del colector

La alineación de variedades es una clase de algoritmos de aprendizaje automático que producen proyecciones entre conjuntos de datos, dado que los conjuntos de datos originales se encuentran en una variedad común . El concepto fue introducido por primera vez como tal por Ham, Lee y Saul en 2003, ^{[ 1 ]} añadiendo una restricción de variedad al problema general de correlacionar conjuntos de vectores de alta dimensión. ^{[ 2 ]}

La alineación de variedades presupone que conjuntos de datos dispares, generados mediante procesos similares, compartirán una representación subyacente similar en la variedad . Al aprender proyecciones desde cada espacio original a la variedad compartida, se recuperan las correspondencias y se puede transferir conocimiento de un dominio a otro. La mayoría de las técnicas de alineación de variedades consideran solo dos conjuntos de datos, pero el concepto se extiende a un número arbitrario de conjuntos de datos iniciales.

Consideremos el caso de alinear dos conjuntos de datos,${\displaystyle X}$y${\displaystyle Y}$, con${\displaystyle X_{i}\in \mathbb {R} ^{m}}$y${\displaystyle Y_{i}\in \mathbb {R} ^{n}}$.

Los algoritmos de alineación de variedades intentan proyectar ambos${\displaystyle X}$y${\displaystyle Y}$en un nuevo espacio d -dimensional de tal manera que las proyecciones minimicen la distancia entre puntos correspondientes y preserven la estructura de variedad local de los datos originales. Las funciones de proyección se denotan como:

${\displaystyle \phi _{X}:\,\mathbb {R} ^{m}\rightarrow \mathbb {R} ^{d}}$

${\displaystyle \phi _{Y}:\,\mathbb {R} ^{n}\rightarrow \mathbb {R} ^{d}}$

Dejar${\displaystyle W}$representar la matriz de correspondencia binaria entre puntos en${\displaystyle X}$y${\displaystyle Y}$:

${\displaystyle W_{i,j}={\begin{cases}1&si\,X_{i}\leftrightarrow Y_{j}\\0&en otro caso\end{cases}}}$

Dejar${\displaystyle S_{X}}$y${\displaystyle S_{Y}}$representa similitudes puntuales dentro de conjuntos de datos. Esto generalmente se codifica como el núcleo de calor de la matriz de adyacencia de un grafo de k vecinos más cercanos .

Finalmente, introduzca un coeficiente.${\displaystyle 0\leq \mu \leq 1}$, que se puede ajustar para modificar el peso del objetivo de "preservar la estructura de la variedad" frente al objetivo de "minimizar las distancias entre puntos correspondientes".

Con estas definiciones establecidas, la función de pérdida para la alineación de variedades se puede escribir de la siguiente manera:

${\displaystyle \arg \min _{\phi _{X},\phi _{Y}}\mu \sum _{i,j}\left\Vert \phi _{X}\left(X_{i}\right)-\phi _{X}\left(X_{j}\right)\right\Vert ^{2}S_{X,i,j}+\mu \sum _{i,j}\left\Vert \phi _{Y}\left(Y_{i}\right)-\phi _{Y}\left(Y_{j}\right)\right\Vert ^{2}S_{Y,i,j}+\left(1-\mu \right)\sum _{i,j}\Vert \phi _{X}\left(X_{i}\right)-\phi _{Y}\left(Y_{j}\right)\Vert ^{2}W_{i,j}}$

Resolver este problema de optimización es equivalente a resolver un problema generalizado de valores propios utilizando el laplaciano del grafo ^{[ 3 ]} de la matriz conjunta, G :

${\displaystyle G=\left[{\begin{array}{cc}\mu S_{X}&\left(1-\mu \right)W\\\left(1-\mu \right)W^{T}&\mu S_{Y}\end{array}}\right]}$

El algoritmo descrito anteriormente requiere información completa de correspondencia por pares entre los conjuntos de datos de entrada; un paradigma de aprendizaje supervisado . Sin embargo, esta información suele ser difícil o imposible de obtener en aplicaciones del mundo real. Trabajos recientes han extendido el algoritmo central de alineación de variedades a entornos semisupervisados ^{​​[ 4 ]} , no supervisados ^{​​[ 5 ]} y de instancias múltiples ^{[ 6 ]} .

El algoritmo descrito anteriormente realiza una alineación de "un paso", encontrando incrustaciones para ambos conjuntos de datos al mismo tiempo. Un efecto similar también se puede lograr con alineaciones de "dos pasos" ^{[ 7 ] [ 8 ]} , siguiendo un procedimiento ligeramente modificado:

1. Proyecte cada conjunto de datos de entrada a un espacio de menor dimensión de forma independiente, utilizando cualquiera de los diversos algoritmos de reducción de dimensionalidad .
2. Realiza una alineación lineal de la variedad en los datos incrustados, manteniendo fijo el primer conjunto de datos y mapeando cada conjunto de datos adicional sobre la variedad del primero. Este enfoque tiene la ventaja de descomponer el cálculo necesario, lo que reduce el consumo de memoria y permite implementaciones paralelas.

La alineación de variedades permite obtener proyecciones lineales (a nivel de características) o incrustaciones no lineales (a nivel de instancias). Si bien la versión a nivel de instancias suele generar alineaciones más precisas, sacrifica gran parte de la flexibilidad, ya que la incrustación aprendida suele ser difícil de parametrizar. Las proyecciones a nivel de características facilitan la incrustación de nuevas instancias en el espacio de variedades, y pueden combinarse para formar mapeos directos entre las representaciones de datos originales. Estas propiedades son especialmente importantes para las aplicaciones de transferencia de conocimiento.

La alineación de variedades es idónea para problemas con varios corpus que se encuentran en una variedad compartida, incluso cuando cada corpus tiene una dimensionalidad diferente. Muchos problemas del mundo real se ajustan a esta descripción, pero las técnicas tradicionales no pueden aprovechar todos los corpus simultáneamente. La alineación de variedades también facilita el aprendizaje por transferencia , en el que el conocimiento de un dominio se utiliza para impulsar el aprendizaje en dominios correlacionados.

Las aplicaciones de la alineación de colectores incluyen:

• Recuperación de información multilingüe / traducción automática ^{[ 8 ]}
  • Al representar los documentos como un vector de recuentos de palabras, la alineación de variedades puede recuperar la correspondencia entre documentos de diferentes idiomas.
  • La correspondencia documental entre distintos idiomas es relativamente fácil de obtener, especialmente de organizaciones multilingües como la Unión Europea .
• Aprendizaje por transferencia de políticas y representaciones estatales para el aprendizaje por refuerzo ^{[ 8 ]}
• Alineación de estructuras de proteínas por RMN ^{[ 8 ]}
• Acelerar el aprendizaje de modelos en robótica compartiendo datos generados por otros robots ^{[ 9 ]}

• Hipótesis múltiple

• Xiong, L.; F. Wang; C. Zhang (2007). "Alineación de variedades semidefinidas". Actas de la 18.ª Conferencia Europea sobre Aprendizaje Automático . CiteSeerX 10.1.1.91.7346 . 
• Wang, Chang; Sridhar Mahadevan (2009). "Un marco general para la alineación de variedades" (PDF) . Simposio de otoño de la AAAI sobre aprendizaje de variedades y sus aplicaciones .
• Wang, Chang; Sridhar Mahadevan (2010). "Alineación de variedades multiescala" (PDF) . Univ. Of Massachusetts TR UM-CS-2010-049 .
• Ma, Yunqian (15 de abril de 2012). Teoría y aplicaciones del aprendizaje de variedades . Taylor & Francis Group. pág.  376. ISBN 978-1-4398-7109-6.
• Descripción general de la alineación de Manifold de Chang Wang