Búsqueda multimodal

La búsqueda multimodal es un tipo de búsqueda que utiliza diferentes métodos para obtener resultados relevantes. Puede emplear cualquier tipo de búsqueda: por palabra clave , por concepto , por ejemplo , etc.

Un motor de búsqueda multimodal está diseñado para imitar la flexibilidad y agilidad de la mente humana al crear, procesar y descartar ideas irrelevantes. Por lo tanto, cuantos más elementos se incluyan en la entrada del motor de búsqueda para su comparación, más precisos serán los resultados. Los motores de búsqueda multimodales utilizan simultáneamente diferentes entradas de distinta naturaleza y métodos de búsqueda, con la posibilidad de combinar los resultados mediante la fusión de todos los elementos de la búsqueda. También existen motores que pueden utilizar la retroalimentación de los resultados, junto con la evaluación del usuario, para realizar una búsqueda más apropiada y relevante.

El motor de búsqueda multimodal funciona en paralelo, realizando simultáneamente una búsqueda de mayor a menor relevancia de cada elemento introducido directa o indirectamente (contexto personal). Posteriormente, proporciona una combinación de todos los resultados, fusionando cada elemento con su ponderación asociada para cada descriptor.

El motor analiza cada elemento y los etiqueta, de modo que se puede comparar la información indexada existente en las bases de datos. A continuación, se clasifican los resultados, ordenándolos de mayor a menor relevancia.

Es necesario definir la importancia de cada elemento de entrada. Algunos motores de búsqueda lo hacen automáticamente, mientras que otros permiten al usuario hacerlo manualmente, asignando mayor o menor peso a cada elemento. Asimismo, es importante que el usuario proporcione la información pertinente y esencial para la búsqueda; demasiada información puede confundir al sistema y generar resultados insatisfactorios. Las búsquedas multimodales ofrecen mejores resultados que las búsquedas simples, pero requieren procesar más información. Esto puede implicar mayor tiempo de procesamiento y mayor consumo de memoria.

Un motor de búsqueda eficiente interpreta la consulta del usuario, comprende su intención y aplica una estrategia para realizar una búsqueda adecuada; es decir, el motor se adapta a cada consulta introducida y también a la combinación de los elementos y métodos.

Actualmente, los motores de búsqueda multimodales existentes no son muy complejos, y algunos de ellos se encuentran en fase experimental. Algunos de los motores más sencillos son Google Imágenes.o Binginterfaces web que utilizan texto e imágenes como entradas para encontrar imágenes en la salida.

Recuperación de MMREs un motor de búsqueda experimental multimodal que utiliza información multilingüe y multimedia a través de una interfaz web. El motor busca en paralelo en las distintas entradas y combina todos los resultados mediante diferentes métodos. Además, ofrece recuperación en varias etapas y un índice de texto base para comparar todas las fases de la búsqueda.

Existen numerosas aplicaciones para dispositivos móviles que utilizan el contexto del usuario, como los servicios basados ​​en la ubicación, y que también emplean texto, imágenes, audios o vídeos que el usuario proporciona en ese momento o mediante archivos guardados, o incluso interactuando con la voz.

• Fusión adaptativa de consultas para búsqueda multimodal, Lyndon Kennedy, miembro estudiantil del IEEE, Shih-Fu Chang, miembro del IEEE, y Apostol Natsev
• Consultas contextuales para motores de búsqueda multimodales, Jonas Etzold, Arnaud Brousseau, Paul Grimm y Thomas SteinerArchivado el 15 de abril de 2012 en Wayback Machine.
• Aplicación de la búsqueda multimodal y la retroalimentación de relevancia en una biblioteca de videos digitales, tesis de Yu Zhong.
• Aplicación rica de internet para la consulta con texto e imágenes al repositorio de vídeos de la Corporación Catalana de Mitjans Audiovisuals, Ramon Salla, Universitat Politècnica de Catalunya

• Imágenes de Google
• Bing