Aprendizaje de preferencias

El aprendizaje de preferencias es un subcampo del aprendizaje automático , que es un método de clasificación basado en información de preferencias observada. ^[1] Desde el punto de vista del aprendizaje supervisado , el aprendizaje de preferencias se entrena en un conjunto de elementos que tienen preferencias hacia etiquetas u otros elementos y predice las preferencias para todos los elementos.

Si bien el concepto de aprendizaje de preferencias ha surgido desde hace algún tiempo en muchos campos, como la economía , ^[2] es un tema relativamente nuevo en la investigación de la inteligencia artificial . En la última década, se han realizado varios talleres para debatir sobre el aprendizaje de preferencias y temas relacionados. ^[3]

La tarea principal en el aprendizaje de preferencias se refiere a problemas de " aprender a clasificar ". Según los diferentes tipos de información de preferencias observada, las tareas se clasifican en tres problemas principales en el libro Preference Learning : ^[4]

En la clasificación de etiquetas, el modelo tiene un espacio de instancias y un conjunto finito de etiquetas . La información de preferencia se proporciona en la forma que indica que la instancia muestra preferencia en en lugar de . Un conjunto de información de preferencia se utiliza como datos de entrenamiento en el modelo. La tarea de este modelo es encontrar una clasificación de preferencia entre las etiquetas para cualquier instancia. ${\displaystyle X=\{x_{i}\}\,\!}$${\displaystyle Y=\{y_{i}|i=1,2,\cdots ,k\}\,\!}$${\displaystyle y_{i}\succ _{x}y_{j}\,\!}$${\estilo de visualización x\,\!}$${\displaystyle y_{i}\,\!}$${\displaystyle y_{j}\,\!}$

Se observó que algunos problemas de clasificación convencionales se pueden generalizar en el marco del problema de clasificación de etiquetas: ^[5] si una instancia de entrenamiento se etiqueta como clase , implica que . En el caso de múltiples etiquetas , está asociado con un conjunto de etiquetas y, por lo tanto, el modelo puede extraer un conjunto de información de preferencia . El entrenamiento de un modelo de preferencia en esta información de preferencia y el resultado de la clasificación de una instancia es simplemente la etiqueta de clasificación superior correspondiente. ${\displaystyle x\,\!}$${\displaystyle y_{i}\,\!}$${\displaystyle \forall j\neq i,y_{i}\succ _{x}y_{j}\,\!}$${\displaystyle x\,\!}$${\displaystyle L\subseteq Y\,\!}$${\displaystyle \{y_{i}\succ _{x}y_{j}|y_{i}\in L,y_{j}\in Y\backslash L\}\,\!}$

La clasificación de instancias también tiene el espacio de instancias y el conjunto de etiquetas . En esta tarea, las etiquetas se definen para que tengan un orden fijo y cada instancia está asociada con una etiqueta . Al proporcionar un conjunto de instancias como datos de entrenamiento, el objetivo de esta tarea es encontrar el orden de clasificación para un nuevo conjunto de instancias. ${\displaystyle X\,\!}$${\displaystyle Y\,\!}$${\displaystyle y_{1}\succ y_{2}\succ \cdots \succ y_{k}\,\!}$${\displaystyle x_{l}\,\!}$${\displaystyle y_{l}\,\!}$

La clasificación de objetos es similar a la clasificación de instancias, salvo que no hay etiquetas asociadas a las instancias. Dado un conjunto de información de preferencias por pares en el formato y, el modelo debería encontrar un orden de clasificación entre las instancias. ${\displaystyle x_{i}\succ x_{j}\,\!}$

Existen dos representaciones prácticas de la información de preferencia . Una consiste en asignar y con dos números reales y respectivamente tales que . Otra consiste en asignar un valor binario para todos los pares que denotan si o . En correspondencia con estas dos representaciones diferentes, existen dos técnicas diferentes que se aplican al proceso de aprendizaje. ${\displaystyle A\succ B\,\!}$${\displaystyle A\,\!}$${\displaystyle B\,\!}$${\displaystyle a\,\!}$${\displaystyle b\,\!}$${\displaystyle a>b\,\!}$${\displaystyle V(A,B)\in \{0,1\}\,\!}$${\displaystyle (A,B)\,\!}$${\displaystyle A\succ B\,\!}$${\displaystyle B\succ A\,\!}$

Si podemos encontrar una correspondencia entre los datos y los números reales, la clasificación de los datos se puede resolver clasificando los números reales. Esta correspondencia se denomina función de utilidad . En el caso de la clasificación por etiquetas, la correspondencia es una función tal que . Por ejemplo, en el caso de la clasificación y la clasificación por objetos, la correspondencia es una función . ${\displaystyle f:X\times Y\rightarrow \mathbb {R} \,\!}$${\displaystyle y_{i}\succ _{x}y_{j}\Rightarrow f(x,y_{i})>f(x,y_{j})\,\!}$${\displaystyle f:X\rightarrow \mathbb {R} \,\!}$

Encontrar la función de utilidad es un problema de aprendizaje de regresión que está bien desarrollado en el aprendizaje automático.

La representación binaria de la información de preferencias se denomina relación de preferencias. Para cada par de alternativas (instancias o etiquetas), se puede aprender un predicado binario mediante un enfoque de aprendizaje supervisado convencional. Fürnkranz y Hüllermeier propusieron este enfoque en el problema de clasificación de etiquetas. ^[6] Para la clasificación de objetos, existe un enfoque temprano de Cohen et al. ^[7]

El uso de relaciones de preferencia para predecir la clasificación no será tan intuitivo. Dado que la relación de preferencia no es transitiva, implica que la solución de clasificación que satisfaga esas relaciones a veces sería inalcanzable, o podría haber más de una solución. Un enfoque más común es encontrar una solución de clasificación que sea lo más consistente posible con las relaciones de preferencia. Este enfoque es una extensión natural de la clasificación por pares. ^[6]

El aprendizaje de preferencias se puede utilizar para clasificar los resultados de búsqueda según la retroalimentación de las preferencias del usuario. Dada una consulta y un conjunto de documentos, se utiliza un modelo de aprendizaje para encontrar la clasificación de documentos que corresponden a la relevancia de esta consulta. Se pueden encontrar más discusiones sobre la investigación en este campo en el artículo de investigación de Tie-Yan Liu . ^[8]

Otra aplicación del aprendizaje de preferencias son los sistemas de recomendación . ^[9] Las tiendas en línea pueden analizar el historial de compras de los clientes para aprender un modelo de preferencias y luego recomendar productos similares a los clientes. Los proveedores de contenido de Internet pueden hacer uso de las calificaciones de los usuarios para proporcionar más contenidos preferidos por los usuarios.

• Aprendiendo a clasificar

• Sitio de aprendizaje de preferencias