Hispanopedia Wiki
Articulo de referencia

Adaptación de dominio

Taxonomía del aprendizaje por transferencia basada en Pan y Yang (2010). La adaptación de dominio se incluye dentro del aprendizaje por transferencia transductivo (misma tarea, ...

Hispanopedia WikiContenido en espanolLectura gratuita
Taxonomía del aprendizaje por transferencia basada en Pan y Yang (2010). La adaptación de dominio se incluye dentro del aprendizaje por transferencia transductivo (misma tarea, dominio diferente, sin etiquetas objetivo).

La adaptación de dominio es un campo asociado con el aprendizaje automático y el aprendizaje por transferencia . Aborda el desafío de entrenar un modelo en una distribución de datos (el dominio de origen ) y aplicarlo a una distribución de datos relacionada pero diferente (el dominio de destino ).

Un ejemplo común es el filtrado de spam , donde un modelo entrenado con correos electrónicos de un usuario (dominio de origen) se adapta para gestionar correos electrónicos de otro usuario con patrones significativamente diferentes (dominio de destino).

Las técnicas de adaptación de dominio también pueden aprovechar fuentes de datos no relacionadas para mejorar el aprendizaje. Cuando intervienen múltiples distribuciones de fuentes, el problema se extiende a la adaptación de dominio de múltiples fuentes . [ 1 ]

La adaptación de dominio es un tipo específico de aprendizaje por transferencia. Según la taxonomía propuesta por Pan y Yang (2010), se clasifica como aprendizaje por transferencia transductivo . En este caso, las tareas de origen y destino son las mismas (por ejemplo, ambas son de reconocimiento de objetos), pero los dominios difieren (distribuciones marginales diferentes). Esto lo distingue del aprendizaje por transferencia inductivo (donde se dispone de datos etiquetados para la tarea de destino) y del aprendizaje por transferencia no supervisado (donde no se dispone de etiquetas en ninguno de los dos dominios). [ 2 ]

Clasificación de los problemas de adaptación de dominio

Las configuraciones de adaptación de dominio se clasifican de dos maneras diferentes: según el cambio en la distribución entre los dominios y según los datos disponibles del dominio de destino.

Cambios en la distribución

Los cambios de distribución comunes se clasifican de la siguiente manera: [ 3 ] [ 4 ]

  • El cambio de covariables se produce cuando las distribuciones de entrada del origen y el destino cambian, pero la relación entre las entradas y las etiquetas permanece inalterada. El ejemplo de filtrado de spam mencionado anteriormente suele encajar en esta categoría. Es decir, las distribuciones (patrones) de los correos electrónicos pueden diferir entre los dominios, pero los correos etiquetados como spam en un dominio deberían etiquetarse de forma similar en otro.
  • El desplazamiento de etiquetas (o cambio de etiquetas) se produce cuando la distribución de etiquetas difiere entre los conjuntos de datos de origen y destino, mientras que la distribución condicional de características dadas las etiquetas permanece constante. Un ejemplo es un clasificador de color de cabello en imágenes de Italia (dominio de origen) y Noruega (dominio de destino). Las proporciones de colores de cabello (etiquetas) difieren, pero las imágenes dentro de clases como poblaciones rubias y negras se mantienen consistentes en ambos dominios. Un clasificador para la población noruega puede aprovechar este conocimiento previo de las proporciones de las clases para mejorar sus estimaciones.
  • El cambio de concepto (o cambio condicional) se refiere a las modificaciones en la relación entre características y etiquetas, incluso si la distribución de entrada permanece invariable. Por ejemplo, en el diagnóstico médico, los mismos síntomas (entradas) pueden indicar enfermedades (etiquetas) completamente diferentes en distintas poblaciones (dominios).

Datos disponibles durante la formación

Los problemas de adaptación de dominio suelen asumir que se dispone de algunos datos del dominio objetivo durante el entrenamiento. Los problemas se pueden clasificar según el tipo de estos datos disponibles: [ 5 ] [ 6 ]

  • Sin supervisión : Se dispone de datos sin etiquetar del dominio objetivo, pero no de datos etiquetados. En el ejemplo anterior de filtrado de spam, esto corresponde al caso en que se dispone de correos electrónicos del dominio objetivo (usuario), pero no están etiquetados como spam. Los métodos de adaptación de dominio pueden beneficiarse de estos datos sin etiquetar, comparando su distribución (patrones) con los datos etiquetados del dominio de origen.
  • Semisupervisado : La mayoría de los datos disponibles del dominio objetivo no están etiquetados, pero también hay algunos datos etiquetados. En el caso mencionado del diseño de filtros de spam , esto corresponde a la situación en la que el usuario objetivo ha etiquetado algunos correos electrónicos como spam o no.
  • Supervisado : Todos los datos disponibles del dominio objetivo están etiquetados. En este caso, la adaptación de dominio se reduce al refinamiento del predictor del dominio de origen. En el ejemplo mencionado anteriormente, la clasificación del color del cabello a partir de imágenes, esto podría corresponder al refinamiento de una red ya entrenada con un gran conjunto de datos de imágenes etiquetadas de Italia, utilizando imágenes etiquetadas recientemente disponibles de Noruega.

Formalización

Dejarincógnita{\displaystyle X}sea ​​el espacio de entrada (o espacio de descripción) y dejemosY{\displaystyle Y}sea ​​el espacio de salida (o espacio de etiquetas). El objetivo de un algoritmo de aprendizaje automático es aprender un modelo matemático (una hipótesis).h:incógnita→Y{\displaystyle h:X\to Y}capaz de adjuntar una etiqueta desdeY{\displaystyle Y}a un ejemplo deincógnita{\displaystyle X}Este modelo se aprende a partir de una muestra de aprendizaje.S={(incógnitai,yi)∈(incógnita×Y)}i=1metro{\displaystyle S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}}.

Por lo general, en el aprendizaje supervisado (sin adaptación de dominio), suponemos que los ejemplos(incógnitai,yi)∈S{\displaystyle (x_{i},y_{i})\in S}se extraen i.i.d. de una distribuciónDS{\displaystyle D_{S}}de apoyoincógnita×Y{\displaystyle X\times Y}(desconocido y fijo). El objetivo es entonces aprenderh{\displaystyle h}(deS{\displaystyle S}) de tal manera que cometa el menor error posible al etiquetar nuevos ejemplos provenientes de la distribuciónDS{\displaystyle D_{S}}.

La principal diferencia entre el aprendizaje supervisado y la adaptación de dominio es que en esta última situación estudiamos dos distribuciones diferentes (pero relacionadas).DS{\displaystyle D_{S}}yDT{\displaystyle D_{T}}enincógnita×Y{\displaystyle X\times Y}La tarea de adaptación de dominio consiste entonces en la transferencia de conocimiento desde el dominio de origen.DS{\displaystyle D_{S}}al objetivo unoDT{\displaystyle D_{T}}El objetivo es entonces aprenderh{\displaystyle h}(a partir de muestras etiquetadas o sin etiquetar procedentes de los dos dominios) de manera que cometa el menor error posible en el dominio objetivo.DT{\displaystyle D_{T}}.

La cuestión principal es la siguiente: si un modelo se aprende a partir de un dominio de origen, ¿cuál es su capacidad para etiquetar correctamente los datos provenientes del dominio de destino?

Cuatro principios algorítmicos

Algoritmos de reponderación

El objetivo es reponderar la muestra etiquetada de origen de manera que "se parezca" a la muestra objetivo (en términos de la medida de error considerada). [ 7 ] [ 8 ]

Algoritmos iterativos

Un método de adaptación consiste en "autoetiquetar" iterativamente los ejemplos objetivo. [ 9 ] El principio es simple:

  1. un modeloh{\displaystyle h}se aprende a partir de los ejemplos etiquetados;
  2. h{\displaystyle h}Etiqueta automáticamente algunos ejemplos objetivo;
  3. Se aprende un nuevo modelo a partir de los nuevos ejemplos etiquetados.

Cabe señalar que existen otros enfoques iterativos, pero generalmente requieren ejemplos etiquetados como objetivo. [ 10 ] [ 11 ]

Búsqueda de un espacio de representación común

El objetivo es encontrar o construir un espacio de representación común para ambos dominios. Se busca obtener un espacio donde los dominios sean similares, manteniendo un buen rendimiento en la tarea de etiquetado de fuentes. Esto se puede lograr mediante técnicas de aprendizaje automático adversario , donde se fomenta que las representaciones de características de muestras de diferentes dominios sean indistinguibles. [ 12 ] [ 13 ]

Modelo bayesiano jerárquico

El objetivo es construir un modelo jerárquico bayesiano.pag(norte){\displaystyle p(n)}, que es esencialmente un modelo de factorización para recuentosnorte{\displaystyle n}, para derivar representaciones latentes dependientes del dominio que permitan factores latentes tanto específicos del dominio como compartidos globalmente. [ 14 ]

Paquetes de software

En las últimas décadas se han implementado diversas compilaciones de algoritmos de adaptación de dominio y aprendizaje por transferencia:

Referencias

  1. ↑ Crammer, Koby; Kearns, Michael; Wortman, Jeniifer (2008). "Aprendizaje a partir de múltiples fuentes" (PDF) . Journal of Machine Learning Research . 9 : 1757–1774 .
  2. ↑ Pan, Sinno Jialin; Yang, Qiang (2010). "Una revisión sobre el aprendizaje por transferencia". IEEE Transactions on Knowledge and Data Engineering . 22 (10): 1345– 1359. doi : 10.1109/TKDE.2009.191 .
  3. ↑ Kouw, Wouter M.; Loog, Marco (2019-01-14), Una introducción a la adaptación de dominio y al aprendizaje por transferencia , arXiv : 1812.11806
  4. ^ Farahani, Abolfazl; Voghoei, Sahar; Rashid, Khaled; Arabnia, Hamid R. (7 de octubre de 2020), Una breve revisión de la adaptación del dominio , arXiv : 2010.03978
  5. ↑ Stanford Online (11/04/2023). Stanford CS330 Aprendizaje profundo multitarea y metaaprendizaje - Adaptación de dominio l 2022 I Lección 13. Recuperado el 23/12/2024 – vía YouTube.
  6. ^ Farahani, Abolfazl; Voghoei, Sahar; Rashid, Khaled; Arabnia, Hamid R. (7 de octubre de 2020), Una breve revisión de la adaptación del dominio , arXiv : 2010.03978
  7. ↑ Huang, Jiayuan; Smola, Alexander J.; Gretton, Arthur; Borgwardt, Karster M.; Schölkopf, Bernhard (2006). "Corrección del sesgo de selección de muestras mediante datos sin etiquetar" (PDF) . Conferencia sobre sistemas de procesamiento de información neuronal (NIPS) . págs. 601–608 . 
  8. ↑ Shimodaira, Hidetoshi (2000). "Mejora de la inferencia predictiva bajo cambio de covariables ponderando la función de verosimilitud logarítmica" . Journal of Statistical Planning and Inference . 90 (2): 227– 244. doi : 10.1016/S0378-3758(00)00115-4 . S2CID 9238949 . 
  9. ↑ Gallego, AJ; Calvo-Zaragoza, J.; Fisher, RB (2020). "Entrenamiento incremental no supervisado de redes neuronales adversarias de dominio" ( PDF) . IEEE Transactions on Neural Networks and Learning Systems . PP (11): 4864– 4878. arXiv : 2001.04129 . doi : 10.1109/TNNLS.2020.3025954 . hdl : 20.500.11820/72ba0443-8a7d-4cdd-8212-38682d4f0730 . PMID 33027004. S2CID 210164756 .  
  10. ↑ Arief-Ang, IB; Salim, FD; Hamilton, M. (2017-11-08). DA-HOC: adaptación de dominio semisupervisada para la predicción de ocupación de habitaciones utilizando datos de sensores de CO2 . 4.ª Conferencia Internacional ACM sobre Sistemas para Entornos Construidos Energéticamente Eficientes (BuildSys). Delft, Países Bajos. pp. 1–10 . doi : 10.1145/3137133.3137146 . ISBN  978-1-4503-5544-5.
  11. ↑ Arief-Ang, IB; Hamilton, M.; Salim, FD (2018-12-01). "Una predicción escalable de ocupación de habitaciones con descomposición de series temporales transferibles de datos de sensores de CO2". ACM Transactions on Sensor Networks . 14 ( 3– 4): 21:1–21:28. doi : 10.1145/3217214 . S2CID 54066723 . 
  12. ↑ Ganin, Yaroslav; Ustinova, Evgeniya; Ajakan, Hana; Germain, Pascal; Larochelle, Hugo; Laviolette, François; Marchand, Mario; Lempitsky, Victor (2016). "Entrenamiento adversario de redes neuronales en dominios" (PDF) . Journal of Machine Learning Research . 17 : 1–35 .
  13. ↑ Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2017). "Abordando el cambio de apariencia en robótica exterior con adaptación de dominio adversaria". arXiv : 1703.01461 [ cs.RO ].
  14. ↑ Hajiramezanali, Ehsan; Siamak Zamani Dadaneh; Karbalayghareh, Alireza; Zhou, Mingyuan; Qian, Xiaoning (2018). "Aprendizaje bayesiano multidominio para el descubrimiento de subtipos de cáncer a partir de datos de recuento de secuenciación de próxima generación". arXiv : 1810.09433 [ stat.ML ].
  15. ^ Gnassounou, Théo y Kachaiev, Oleksii y Flamary, Rémi y Collas, Antoine y Lalou, Yanis y de Mathelin, Antoine y Gramfort, Alexandre y Bueno, Ruben y Michel, Florent y Mellot, Apolline y Loison, Virginie y Odonnat, Ambroise y Moreau, Thomas (2024) "SKADA  : Adaptación de Scikit"
  16. ↑ de Mathelin, Antoine y Deheeger, François y Richard, Guillaume y Mougeot, Mathilde y Vayatis, Nicolas (2020) "ADAPT: Awesome Domain Adaptation Python Toolbox"
  17. ^ Mingsheng Long Junguang Jiang, Bo Fu. (2020) "Biblioteca de transferencia-aprendizaje"
  18. ↑ Ke Yan. (2016) "Caja de herramientas de adaptación de dominio"
Lecturas relacionadas
6 articulos
Aprendizaje automáticoAprendizaje automáticoEl aprendizaje automático ( ML ) es un campo de estudio en inteligencia artificial que se ocupa del desarrollo y estudio de algoritmos estadísticos...Aprendizaje por transferenciaAprendizaje por transferenciaEl aprendizaje por transferencia ( TL ) es una técnica del aprendizaje automático (ML) en la que el conocimiento adquirido en una tarea se reutiliz...Técnicas antispamTécnicas antispamSe utilizan diversas técnicas antispam para evitar el correo no deseado (correo electrónico masivo no solicitado).Diseño de filtrosDiseño de filtrosEl diseño de filtros es el proceso de diseñar un filtro de procesamiento de señales que satisfaga un conjunto de requisitos, algunos de los cuales ...Modelo matemáticoUn modelo matemático es una descripción abstracta de un sistema concreto utilizando conceptos y lenguaje matemático . El proceso de desarrollo de u...Aprendizaje supervisadoEl aprendizaje supervisado ( SL ) es un paradigma en el aprendizaje automático donde los objetos de entrada (por ejemplo, un vector de variables pr...