Base de datos vectorial

Una base de datos vectorial , almacén vectorial o motor de búsqueda vectorial es una base de datos que almacena y recupera incrustaciones de datos en el espacio vectorial . ^{[ 1 ]} Las bases de datos vectoriales suelen implementar algoritmos de vecinos más cercanos aproximados para que los usuarios puedan buscar registros semánticamente similares a una entrada dada, a diferencia de las bases de datos tradicionales que buscan principalmente registros por coincidencia exacta. ^{[ 2 ] [ 3 ]} Los casos de uso para las bases de datos vectoriales incluyen búsqueda de similitud , búsqueda semántica , búsqueda multimodal , motores de recomendación , detección de objetos y generación aumentada de recuperación (RAG). ^{[ 1 ]}

Las incrustaciones vectoriales son representaciones matemáticas de datos en un espacio de alta dimensión. En este espacio, cada dimensión corresponde a una característica de los datos, y el número de dimensiones varía desde unos pocos cientos hasta decenas de miles, dependiendo de la complejidad de los datos representados. Cada elemento de datos se representa mediante un vector en este espacio. Palabras, frases o documentos completos, así como imágenes, audio y otros tipos de datos, pueden ser vectorizados. ^{[ 1 ]}

Estos vectores de características pueden calcularse a partir de los datos brutos mediante métodos de aprendizaje automático , como algoritmos de extracción de características , incrustaciones de palabras ^{[ 4 ]} o redes de aprendizaje profundo . El objetivo es que los elementos de datos semánticamente similares reciban vectores de características muy próximos entre sí.

La recuperación vectorial se puede combinar con el filtrado de metadatos o la búsqueda léxica para admitir flujos de trabajo de recuperación filtrados e híbridos. ^{[ 5 ] [ 6 ]}

Las técnicas comunes para la búsqueda de similitud en vectores de alta dimensión incluyen:

• Grafos jerárquicos navegables de mundo pequeño (HNSW)
• Hashing sensible a la localidad (LSH) y bocetos
• Cuantificación del producto (PQ)
• Archivos invertidos

Estas técnicas también pueden combinarse en sistemas de búsqueda vectorial. ^{[ 7 ]}

En recientes pruebas comparativas, las implementaciones basadas en HNSW han estado entre las de mejor rendimiento. ^{[ 8 ] [ 9 ]} Conferencias como la Conferencia Internacional sobre Búsqueda de Similitud y Aplicaciones (SISAP) ^{[ 10 ]} y la Conferencia sobre Sistemas de Procesamiento de Información Neuronal (NeurIPS) ^{[ 11 ]} han organizado competiciones sobre búsqueda vectorial en grandes bases de datos.

Las bases de datos vectoriales se utilizan en una amplia gama de aplicaciones de aprendizaje automático, incluyendo búsqueda de similitud , búsqueda semántica , búsqueda multimodal , motores de recomendación , detección de objetos y generación aumentada por recuperación . ^{[ 1 ]}

• Maldición de la dimensionalidad : dificultades que surgen al analizar datos con muchos aspectos ("dimensiones"). 
• Base de datos de grafos : base de datos que utiliza estructuras de grafos para realizar consultas. 
• Aprendizaje automático : subconjunto de la inteligencia artificial 
• Búsqueda del vecino más cercano : un problema de optimización en informática. 
• Sistema de recomendación : sistema para predecir las preferencias de los usuarios. 

• Sawers, Paul (2024-04-20). "Por qué las bases de datos vectoriales están viviendo un momento de auge cuando el ciclo de la euforia por la IA alcanza su punto máximo" . TechCrunch . Recuperado el 23 de abril de 2024 .