Aprendizaje por similitud

El aprendizaje por similitud es un área del aprendizaje automático supervisado en inteligencia artificial . Está estrechamente relacionado con la regresión y la clasificación , pero su objetivo es aprender una función de similitud que mida el grado de semejanza o relación entre dos objetos. Tiene aplicaciones en sistemas de clasificación , sistemas de recomendación , seguimiento de identidad visual, verificación facial y verificación de locutores.

Existen cuatro configuraciones comunes para el aprendizaje por similitud y distancia métrica.

Aprendizaje de similitud de regresión

En esta configuración, se dan pares de objetos.${\displaystyle (x_{i}^{1},x_{i}^{2})}$junto con una medida de su similitud${\displaystyle y_{i}\in R}$El objetivo es aprender una función que se aproxime a${\displaystyle f(x_{i}^{1},x_{i}^{2})\sim y_{i}}$por cada nuevo ejemplo de triplete etiquetado${\displaystyle (x_{i}^{1},x_{i}^{2},y_{i})}$Esto se suele lograr minimizando una función de pérdida regularizada.${\displaystyle \min _{W}\sum _{i}loss(w;x_{i}^{1},x_{i}^{2},y_{i})+reg(w)}$.

Aprendizaje de similitud de clasificación

Se proporcionan pares de objetos similares${\displaystyle (x_{i},x_{i}^{+})}$y objetos no similares${\displaystyle (x_{i},x_{i}^{-})}$. Una formulación equivalente es que cada par${\displaystyle (x_{i}^{1},x_{i}^{2})}$se proporciona junto con una etiqueta binaria${\displaystyle y_{i}\in \{0,1\}}$que determina si los dos objetos son similares o no. El objetivo es, de nuevo, aprender un clasificador que pueda decidir si un nuevo par de objetos es similar o no.

Aprendizaje de similitud de clasificación

Se proporcionan tríos de objetos${\displaystyle (x_{i},x_{i}^{+},x_{i}^{-})}$cuya similitud relativa obedece a un orden predefinido:${\displaystyle x_{i}}$se sabe que es más similar a${\displaystyle x_{i}^{+}}$que a${\displaystyle x_{i}^{-}}$El objetivo es aprender una función.${\displaystyle f}$de tal manera que para cualquier nueva terna de objetos${\displaystyle (x,x^{+},x^{-})}$, obedece${\displaystyle f(x,x^{+})>f(x,x^{-})}$( aprendizaje contrastivo ). Esta configuración presupone una forma de supervisión más débil que en la regresión, ya que en lugar de proporcionar una medida exacta de similitud , solo se requiere el orden relativo de similitud. Por esta razón, el aprendizaje de similitud basado en rangos es más fácil de aplicar en aplicaciones reales a gran escala. ^{[ 1 ]}

Hashing sensible a la localidad (LSH) ^{[ 2 ]}

Aplica funciones hash a los elementos de entrada para que los elementos similares se asignen a los mismos "cubos" en la memoria con alta probabilidad (el número de cubos es mucho menor que el universo de posibles elementos de entrada). Se aplica frecuentemente en la búsqueda del vecino más cercano en grandes conjuntos de datos de alta dimensión, por ejemplo, bases de datos de imágenes, colecciones de documentos, bases de datos de series temporales y bases de datos genómicas. ^{[ 3 ]}

Un enfoque común para aprender similitud es modelar la función de similitud como una forma bilineal . Por ejemplo, en el caso del aprendizaje de similitud de clasificación, se busca aprender una matriz W que parametriza la función de similitud.${\displaystyle f_{W}(x,z)=x^{T}Wz}$Cuando los datos son abundantes, un enfoque común es aprender una red siamesa , un modelo de red profunda con parámetros compartidos.

El aprendizaje de similitud está estrechamente relacionado con el aprendizaje de métricas de distancia . El aprendizaje de métricas consiste en aprender una función de distancia sobre objetos. Una métrica o función de distancia debe cumplir cuatro axiomas: no negatividad , identidad de indiscernibles , simetría y subaditividad (o la desigualdad triangular). En la práctica, los algoritmos de aprendizaje de métricas ignoran la condición de identidad de indiscernibles y aprenden una pseudométrica.

Cuando los objetos${\displaystyle x_{i}}$son vectores en${\displaystyle R^{d}}$, entonces cualquier matriz${\displaystyle W}$en el cono semidefinido positivo simétrico${\displaystyle S_{+}^{d}}$define una pseudométrica de distancia del espacio de x a través de la forma${\displaystyle D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }W(x_{1}-x_{2})}$. Cuando${\displaystyle W}$es una matriz simétrica definida positiva,${\displaystyle D_{W}}$es una métrica. Además, como cualquier matriz simétrica semidefinida positiva${\displaystyle W\in S_{+}^{d}}$puede descomponerse como${\displaystyle W=L^{\top }L}$dónde${\displaystyle L\in R^{e\times d}}$y${\displaystyle e\geq rango(W)}$, la función de distancia${\displaystyle D_{W}}$puede reescribirse de forma equivalente${\displaystyle D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }L^{\top }L(x_{1}-x_{2})=\|L(x_{1}-x_{2})\|_{2}^{2}}$La distancia${\displaystyle D_{W}(x_{1},x_{2})^{2}=\|x_{1}'-x_{2}'\|_{2}^{2}}$corresponde a la distancia euclidiana entre los vectores de características transformados${\displaystyle x_{1}'=Lx_{1}}$y${\displaystyle x_{2}'=Lx_{2}}$.

Se han propuesto muchas formulaciones para el aprendizaje métrico. ^{[ 4 ] [ 5 ]} Algunos enfoques bien conocidos para el aprendizaje métrico incluyen el aprendizaje a partir de comparaciones relativas, ^{[ 6 ]} que se basa en la pérdida de tripletas , el vecino más cercano de margen grande , ^{[ 7 ]} y el aprendizaje métrico basado en la teoría de la información (ITML). ^{[ 8 ]}

En estadística , la matriz de covarianza de los datos se utiliza a veces para definir una métrica de distancia llamada distancia de Mahalanobis .

El aprendizaje de similitud se utiliza en la recuperación de información para aprender a clasificar , en la verificación o identificación facial, ^{[ 9 ] [ 10 ]} y en sistemas de recomendación . Además, muchos enfoques de aprendizaje automático se basan en alguna métrica. Esto incluye el aprendizaje no supervisado , como el clustering , que agrupa objetos cercanos o similares. También incluye enfoques supervisados, como el algoritmo de k vecinos más cercanos , que se basa en las etiquetas de objetos cercanos para decidir la etiqueta de un nuevo objeto. El aprendizaje métrico se ha propuesto como un paso de preprocesamiento para muchos de estos enfoques. ^{[ 11 ]}

El aprendizaje de métricas y similitud escala cuadráticamente con la dimensión del espacio de entrada, como se puede ver fácilmente cuando la métrica aprendida tiene una forma bilineal.${\displaystyle f_{W}(x,z)=x^{T}Wz}$La escalabilidad a dimensiones superiores se puede lograr imponiendo una estructura de dispersión sobre el modelo matricial, como se hace con HDSL, ^{[ 12 ]} y con COMET. ^{[ 13 ]}

• metric-learn ^{[ 14 ]} es una biblioteca de software libre para Python que ofrece implementaciones eficientes de varios algoritmos de aprendizaje de métricas y similitud supervisados ​​y débilmente supervisados. La API de metric-learn es compatible con scikit-learn . ^{[ 15 ]}
• OpenMetricLearning ^{[ 16 ]} es un marco de trabajo de Python para entrenar y validar modelos que producen incrustaciones de alta calidad.

Para obtener más información sobre este tema, consulte los estudios sobre aprendizaje métrico y de similitud de Bellet et al. ^{[ 4 ]} y Kulis. ^{[ 5 ]}

• Método del núcleo
• análisis semántico latente
• Aprender a clasificar