aprendizaje multimodal

El aprendizaje multimodal es un tipo de aprendizaje profundo que integra y procesa múltiples tipos de datos, denominados modalidades , como texto, audio, imágenes o vídeo. Esta integración permite una comprensión más holística de datos complejos, mejorando el rendimiento del modelo en tareas como la respuesta visual a preguntas, la recuperación multimodal , ^{[ 1 ]} la generación de texto a imagen, ^{[ 2 ]} la clasificación estética ^{[ 3 ]} y la generación de subtítulos para imágenes. ^{[ 4 ]}

El aprendizaje multimodal se propuso en 2011 al comienzo del período del aprendizaje profundo. ^{[ 5 ]} Los grandes modelos multimodales , como Google Gemini y GPT-4o , se han vuelto cada vez más populares desde 2023, lo que permite una mayor versatilidad y una comprensión más amplia de los fenómenos del mundo real. ^{[ 6 ]}

Los datos suelen presentarse en diferentes modalidades que transmiten información distinta. Por ejemplo, es muy común añadir un pie de foto a una imagen para comunicar información que no se muestra directamente en ella. Del mismo modo, a veces resulta más sencillo utilizar una imagen para describir información que no es evidente a partir de un texto. En consecuencia, si aparecen palabras diferentes en imágenes similares, es probable que describan lo mismo. Por el contrario, si una palabra se utiliza para describir imágenes aparentemente distintas, estas imágenes podrían representar el mismo objeto. Por lo tanto, en el caso de datos multimodales, es importante utilizar un modelo capaz de representar la información de forma conjunta, de manera que pueda capturar la información combinada de las diferentes modalidades.

Modelos como CLIP (Contrastive Language–Image Pretraining) aprenden representaciones conjuntas de imágenes y texto optimizando objetivos contrastivos, lo que permite al modelo relacionar imágenes con sus descripciones textuales correspondientes. ^{[ 28 ]}

Una máquina de Boltzmann es un tipo de red neuronal estocástica inventada por Geoffrey Hinton y Terry Sejnowski en 1985. Las máquinas de Boltzmann pueden considerarse la contraparte estocástica y generativa de las redes de Hopfield . Reciben su nombre de la distribución de Boltzmann en mecánica estadística. Las unidades en las máquinas de Boltzmann se dividen en dos grupos: unidades visibles y unidades ocultas. Cada unidad es como una neurona con una salida binaria que representa si está activada o no. ^{[ 29 ]} Las máquinas de Boltzmann generales permiten la conexión entre cualquier unidad. Sin embargo, el aprendizaje es poco práctico utilizando máquinas de Boltzmann generales porque el tiempo de cálculo es exponencial al tamaño de la máquina. ^{[ 30 ]} Una arquitectura más eficiente es la máquina de Boltzmann restringida, donde la conexión solo se permite entre la unidad oculta y la unidad visible, que se describe en la siguiente sección.

Las máquinas de Boltzmann profundas multimodales pueden procesar y aprender de diferentes tipos de información, como imágenes y texto, simultáneamente. Esto se puede lograr, en particular, mediante una máquina de Boltzmann profunda independiente para cada modalidad, por ejemplo, una para imágenes y otra para texto, unidas en una capa oculta superior adicional. ^{[ 31 ]}

El aprendizaje automático multimodal tiene numerosas aplicaciones en diversos ámbitos:

• Recuperación multimodal : la recuperación multimodal permite a los usuarios buscar datos en diferentes modalidades (por ejemplo, recuperar imágenes a partir de descripciones de texto), lo que mejora los motores de búsqueda multimedia y los sistemas de recomendación de contenido. ^{[ 32 ]}
• Clasificación y recuperación de datos faltantes : las máquinas de Boltzmann profundas multimodales superan a los modelos tradicionales como las máquinas de vectores de soporte y la asignación latente de Dirichlet en tareas de clasificación y pueden predecir datos faltantes en conjuntos de datos multimodales, como imágenes y texto.
• Diagnóstico sanitario : los modelos multimodales integran imágenes médicas, datos genómicos y registros de pacientes para mejorar la precisión diagnóstica y la detección precoz de enfermedades, especialmente en la detección precoz del cáncer. ^{[ 33 ] [ 34 ] [ 35 ]}
• Generación de contenido : modelos como DALL·E generan imágenes a partir de descripciones textuales, lo que beneficia a las industrias creativas, mientras que la recuperación multimodal permite búsquedas multimedia dinámicas. ^{[ 36 ]}
• Robótica e interacción humano-computadora : el aprendizaje multimodal mejora la interacción en robótica e IA al integrar entradas sensoriales como el habla, la visión y el tacto, lo que ayuda a los sistemas autónomos y a la interacción humano-computadora .
• Reconocimiento de emociones : al combinar datos visuales, de audio y de texto, los sistemas multimodales mejoran el análisis de sentimientos y el reconocimiento de emociones , y se aplican en el servicio al cliente, las redes sociales y el marketing.

• Recuperación multimodal
• Modelo de lenguaje visual
• Red Hopfield
• campo aleatorio de Markov
• Cadena de Markov Monte Carlo
• SGLang