Proyecto Lémur

El Proyecto Lemur es una colaboración entre el Centro para la Recuperación Inteligente de Información de la Universidad de Massachusetts Amherst y el Instituto de Tecnologías del Lenguaje de la Universidad Carnegie Mellon . ^{[ 1 ]} El Proyecto Lemur desarrolla motores de búsqueda, barras de herramientas para navegadores, herramientas de análisis de texto y recursos de datos que apoyan la investigación y el desarrollo de software de recuperación de información y minería de texto. El proyecto es conocido principalmente por sus motores de búsqueda Indri y Galago, los conjuntos de datos ClueWeb09 y ClueWeb12, y la biblioteca de aprendizaje de clasificación RankLib. ^{[ 2 ]} El software y los conjuntos de datos se utilizan ampliamente en aplicaciones científicas y de investigación, así como en algunas aplicaciones comerciales.

La filosofía de desarrollo de software del Proyecto Lemur se centra en la precisión, la flexibilidad y la eficiencia de vanguardia. Por ejemplo, el motor de búsqueda Indri ofrece búsquedas precisas en grandes colecciones de texto de forma inmediata, y los datos se almacenan de manera accesible para facilitar el desarrollo de nuevas estrategias de recuperación. El software del Proyecto Lemur se distribuye bajo licencias de código abierto que brindan flexibilidad a científicos y desarrolladores de software.

Lemur se creó utilizando los lenguajes de programación C , C++ y Java , e incluye los archivos fuente y las instrucciones de compilación. El código fuente proporcionado puede modificarse para desarrollar nuevas bibliotecas. Es compatible con diversos sistemas operativos, como Linux y Windows.

Lemur admite las siguientes características:

• Indexación:
  • Texto en inglés, chino y árabe
  • Derivación de palabras
  • Palabras de alto
  • Tokenización
  • Indexación por pasos e incremental
• Recuperación:
  • Recuperación ad hoc ( TF-IDF e InQuery)
  • Pasaje y recuperación interlingüística
  • Modelado del lenguaje
    • Actualización del modelo de consulta
    • Alisado en dos etapas
  • Retroalimentación sobre la relevancia
  • Lenguaje de consulta estructurado
  • Coincidencia de términos comodín
• IR distribuido:
  • Muestreo basado en consultas
  • Clasificación basada en bases de datos (CORI)
  • Combinación de resultados
• Agrupación de documentos
• Resumen
• Procesamiento de texto simple

El proyecto Lemur consta de los siguientes componentes:

• Motor de búsqueda Indri en C++
• Marco de investigación del motor de búsqueda Galago en Java
• Biblioteca de aprendizaje para la clasificación RankLib
• Aplicación de minería de datos Sifaka
• Conjuntos de datos ClueWeb09 y ClueWeb12
• Barra de herramientas del registro de consultas

Las actualizaciones de los componentes del Proyecto Lemur se realizan dos veces al año, en junio y diciembre. La última versión del motor de búsqueda Indri es la 5.17. La última versión del motor de búsqueda Galago es la 3.18. La última versión de la biblioteca de aprendizaje para la clasificación RankLib es la 2.14. La última versión de la aplicación de minería de datos Sifaka es la 1.8.

El motor de búsqueda Indri es uno de los componentes desarrollados por el Proyecto Lemur. Es de código abierto. El lenguaje de consulta que utiliza permite a los investigadores indexar datos o estructurar documentos mediante sencillas instrucciones de línea de comandos. Indri ofrece flexibilidad para adaptarse a diversas aplicaciones actuales. Además, puede distribuirse en un clúster de nodos para un alto rendimiento. El motor de búsqueda Indri puede gestionar grandes conjuntos de datos y comprender diversos formatos de datos como HTML y XML .

La API de Indri admite varios lenguajes de programación y scripting como C++, Java , C# y PHP .

• Lista de bibliotecas de recuperación de información

• El sitio web del Proyecto Lémur