Generación aumentada por recuperación

Normalmente, los datos a los que se hace referencia se convierten en incrustaciones LLM , representaciones numéricas en forma de un gran espacio vectorial. RAG se puede utilizar con datos no estructurados (generalmente texto), semiestructurados o estructurados (por ejemplo, grafos de conocimiento ). Estas incrustaciones se almacenan en una base de datos vectorial para permitir la recuperación de documentos .

Dada una consulta de usuario, primero se llama a un recuperador de documentos para seleccionar los documentos más relevantes que se utilizarán para ampliar la consulta. ^{[ 2 ] [ 3 ]} Esta comparación se puede realizar utilizando diversos métodos, que dependen en parte del tipo de indexación utilizado. ^{[ 1 ]}

El modelo alimenta esta información recuperada relevante al LLM a través de la ingeniería inmediata de la consulta original del usuario. Implementaciones más recientes ( a partir de 2023) también puede incorporar módulos de aumento específicos con capacidades tales como expandir las consultas a múltiples dominios y utilizar la memoria y la auto-mejora para aprender de recuperaciones anteriores.

Finalmente, el LLM puede generar resultados basados ​​tanto en la consulta como en los documentos recuperados. ^{[ 2 ] [ 3 ]} Algunos modelos incorporan pasos adicionales para mejorar los resultados, como la reclasificación de la información recuperada, la selección de contexto y el ajuste fino .

Estos métodos se centran en la codificación de texto como vectores densos o dispersos. Los vectores dispersos , que codifican la identidad de una palabra, suelen tener la longitud de un diccionario y contienen principalmente ceros. Los vectores densos , que codifican el significado, son más compactos y contienen menos ceros. Diversas mejoras pueden optimizar la forma en que se calculan las similitudes en los almacenes de vectores (bases de datos). ^{[ 8 ]}

• El rendimiento mejora al optimizar cómo se calculan las similitudes vectoriales. Los productos escalares mejoran la puntuación de similitud, mientras que las búsquedas de vecinos más cercanos aproximados (ANN) mejoran la eficiencia de recuperación en comparación con las búsquedas de k vecinos más cercanos (KNN). ^{[ 9 ]}
• La precisión puede mejorarse con interacciones tardías, que permiten al sistema comparar palabras con mayor exactitud después de la recuperación. Esto ayuda a refinar la clasificación de documentos y a mejorar la relevancia de la búsqueda. ^{[ 10 ]}
• Se pueden utilizar enfoques vectoriales híbridos para combinar representaciones vectoriales densas con vectores one-hot dispersos , aprovechando la eficiencia computacional de los productos escalares dispersos sobre las operaciones vectoriales densas. ^{[ 8 ]}
• Otras técnicas de recuperación se centran en mejorar la precisión refinando la selección de documentos. Algunos métodos de recuperación combinan representaciones dispersas, como SPLADE, con estrategias de expansión de consultas para mejorar la precisión y la exhaustividad de la búsqueda. ^{[ 11 ]}

Estos métodos tienen como objetivo mejorar la calidad de la recuperación de documentos en bases de datos vectoriales:

• Preentrenar el recuperador usando la Tarea de Cloze Inversa (ICT), una técnica que ayuda al modelo a aprender patrones de recuperación prediciendo texto enmascarado dentro de los documentos. ^{[ 12 ]}
• La optimización supervisada del recuperador alinea las probabilidades de recuperación con la distribución de verosimilitud del modelo generador. Esto implica recuperar los k vectores principales para una consigna dada, puntuar la perplejidad de la respuesta generada y minimizar la divergencia KL entre las selecciones del recuperador y las verosimilitudes del modelo para refinar la recuperación. ^{[ 13 ]}
• Las técnicas de reclasificación pueden mejorar el rendimiento del recuperador al priorizar los documentos recuperados más relevantes durante el entrenamiento. ^{[ 14 ]}

Modelo de lenguaje retro para RAG. Cada bloque retro consta de capas de atención, atención cruzada segmentada y retroalimentación. Los recuadros con letras negras muestran los datos que se están modificando, y las letras azules muestran el algoritmo que realiza los cambios.

Al rediseñar el modelo de lenguaje teniendo en cuenta el recuperador, una red 25 veces más pequeña puede obtener una perplejidad comparable a la de sus contrapartes mucho más grandes. ^{[ 15 ]} Debido a que se entrena desde cero, este método (Retro) conlleva el alto costo de las ejecuciones de entrenamiento que el esquema RAG original evitaba. La hipótesis es que, al proporcionar conocimiento del dominio durante el entrenamiento, Retro necesita menos atención al dominio y puede dedicar sus recursos de peso más pequeños solo a la semántica del lenguaje. El modelo de lenguaje rediseñado se muestra aquí.

Se ha informado que Retro no es reproducible, por lo que se realizaron modificaciones para lograrlo. La versión más reproducible se llama Retro++ e incluye RAG en contexto. ^{[ 16 ]}

La segmentación implica diversas estrategias para dividir los datos en vectores, de modo que el programa de recuperación pueda encontrar detalles en ellos.

Los diferentes estilos de datos presentan patrones que pueden aprovecharse mediante una correcta segmentación.

Existen tres tipos de estrategias de segmentación:

• Longitud fija con solapamiento. Es rápido y sencillo. El solapamiento de fragmentos consecutivos ayuda a mantener el contexto semántico entre ellos.
• Los fragmentos basados ​​en la sintaxis pueden dividir el documento en oraciones. Bibliotecas como spaCy o NLTK también pueden ser de ayuda.
• Fragmentación basada en el formato de archivo. Algunos tipos de archivo incorporan fragmentos de código, y es recomendable respetarlos. Por ejemplo, los archivos de código se fragmentan y vectorizan como funciones o clases completas. Los archivos HTML deben dejar intactos los elementos <table> o <img> codificados en base64 . Se deben tener en cuenta consideraciones similares para los archivos PDF. Bibliotecas como Unstructured o LangChain pueden ser útiles para este método.

En ocasiones, las búsquedas en bases de datos vectoriales ( también conocidas como técnicas de búsqueda semántica ) pueden pasar por alto información clave necesaria para responder a la pregunta del usuario. Una forma de mitigar esto es realizar una búsqueda de texto tradicional ( también conocida como búsqueda de texto completo ), combinar esos resultados con los fragmentos de texto vinculados a los vectores recuperados de la búsqueda vectorial e introducir el texto híbrido resultante (utilizando puntuación efectiva o puntuación de reclasificación) en el modelo de lenguaje para su generación. ^{[ 17 ]}

Los sistemas RAG pueden recuperar fuentes objetivamente correctas pero engañosas, lo que lleva a errores de interpretación. En algunos casos, un modelo LLM puede extraer afirmaciones de una fuente sin considerar su contexto, lo que resulta en una conclusión incorrecta. Además, ante información contradictoria, los modelos RAG pueden tener dificultades para determinar qué fuente es precisa. El peor escenario de esta limitación es que el modelo puede combinar detalles de múltiples fuentes, produciendo respuestas que fusionan información obsoleta y actualizada de manera engañosa. Según la MIT Technology Review , estos problemas ocurren porque los sistemas RAG pueden malinterpretar los datos que recuperan. ^{[ 2 ]}