El modelo booleano estándar de recuperación de información ( BIR ) [ 1 ] es un modelo clásico de recuperación de información (IR) donde los documentos se recuperan según cumplan o no las condiciones de una consulta que utiliza lógica booleana . Como el primer y más adoptado modelo de recuperación de información, [ 2 ] trata cada documento como un conjunto de palabras o términos . La consulta del usuario utiliza operadores lógicos como AND, OR y NOT para crear una regla de recuperación. El sistema devuelve entonces todos los documentos que coinciden con la regla.
Definiciones
En el modelo booleano, los documentos y las consultas se representan mediante conceptos de la teoría de conjuntos . Un documento se considera una simple colección (un conjunto) de términos, y una consulta es una declaración formal (una expresión booleana ) que especifica qué términos deben o no deben estar presentes en un documento recuperado.
- Un término de índice (o término ) es una palabra clave que caracteriza el contenido de un documento. Los términos son las unidades fundamentales del modelo. Las palabras comunes y de baja información (llamadas palabras vacías ) como "un", "el" y "es" generalmente se excluyen del uso como términos de índice.
- Un documento se representa como un conjunto de términos de índice. Este es un modelo de bolsa de palabras , lo que significa que se ignora el orden y la frecuencia de los términos en el documento original. Por ejemplo, un documento sobre el teorema de Bayes podría representarse simplemente como el conjunto.
- Una consulta es una expresión formal de la necesidad de información del usuario, escrita mediante términos de índice y operadores booleanos (AND, OR, NOT). El modelo recupera todos los documentos que coinciden con esta expresión lógica.
Representación formal
El modelo se puede definir formalmente de la siguiente manera:
- Dejarsea un conjunto de todos los términos de índice.
- Un documentoes cualquier subconjunto de.
- Una consultaes una expresión booleana, típicamente en forma normal conjuntiva :dónde.
La recuperación es el proceso de identificar el conjunto de todos los documentos.que satisfacen la consulta. Por ejemplo, para la consulta simple, el sistema recuperaría todos los documentos cuyo conjunto de términos contiene ambosy.
Ejemplo
Sea, por ejemplo, el conjunto de documentos originales (reales)
dónde
= "Principio de Bayes: El principio que establece que, al estimar un parámetro, se debe asumir inicialmente que cada valor posible tiene la misma probabilidad (una distribución previa uniforme)."
" Teoría de la decisión bayesiana : Teoría matemática de la toma de decisiones que presupone funciones de utilidad y probabilidad, y según la cual la acción a elegir es la bayesiana, es decir, aquella con la mayor utilidad esperada subjetiva. Si se dispusiera de tiempo y capacidad de cálculo ilimitados para tomar cualquier decisión, este procedimiento sería la mejor manera de hacerlo."
= " Epistemología bayesiana : Teoría filosófica que sostiene que el estatus epistémico de una proposición (es decir, cuán bien probada o establecida está) se mide mejor mediante una probabilidad y que la forma adecuada de revisar esta probabilidad viene dada por la condicionalización bayesiana o procedimientos similares. Un epistemólogo bayesiano usaría la probabilidad para definir y explorar la relación entre conceptos como el estatus epistémico, el apoyo o el poder explicativo ."
Dejemos que el conjuntode términos ser:Luego, el conjuntoLa lista de documentos es la siguiente:dóndeDejemos la consultaser ("probabilidad" Y "toma de decisiones"):A continuación, para recuperar los documentos pertinentes:
- En primer lugar, los siguientes conjuntosyde documentos se obtienen (recuperan):Dóndecorresponde a los documentos que contienen el término "probabilidad" ycontienen el término "toma de decisiones".
- Finalmente, los siguientes documentosse recuperan en respuesta a:Donde la consulta busca documentos que estén contenidos en ambos conjuntos.utilizando el operador de intersección.
Esto significa que el documento originales la respuesta a.
Si hay más de un documento con la misma representación (el mismo subconjunto de términos de índice)), se recupera cada uno de esos documentos. Dichos documentos son indistinguibles en el BIR (es decir, equivalentes).
Ventajas
- Formalismo limpio
- Fácil de implementar
- Concepto intuitivo
- Si el conjunto de documentos resultante es demasiado pequeño o demasiado grande, resulta evidente qué operadores producirán, respectivamente, un conjunto mayor o menor.
- Esto proporciona a los usuarios (expertos) una sensación de control sobre el sistema. Queda claro de inmediato por qué se ha recuperado un documento a partir de una consulta.
Desventajas
- La coincidencia exacta puede recuperar muy pocos o demasiados documentos.
- Es difícil traducir una consulta a una expresión booleana.
- Ineficaz para conceptos resistentes a la búsqueda [ 3 ]
- Todos los términos tienen el mismo peso.
- Más bien recuperación de datos que recuperación de información.
- Recuperación basada en criterios de decisión binarios sin noción de coincidencia parcial.
- No se proporciona ninguna clasificación de los documentos (ausencia de una escala de calificación).
- La necesidad de información debe traducirse en una expresión booleana, lo que a la mayoría de los usuarios les resulta incómodo.
- Las consultas booleanas formuladas por los usuarios suelen ser demasiado simples.
- El modelo suele devolver demasiados o muy pocos documentos en respuesta a la consulta del usuario.
Estructuras de datos y algoritmos
Desde un punto de vista puramente matemático formal, el BIR es sencillo. Sin embargo, desde un punto de vista práctico, deben resolverse varios problemas adicionales relacionados con algoritmos y estructuras de datos, como, por ejemplo, la elección de términos (selección manual o automática o ambas), la lematización , las tablas hash , la estructura de archivos invertida , etc. [ 4 ]
Conjuntos hash
Otra posibilidad es utilizar conjuntos hash . Cada documento se representa mediante una tabla hash que contiene todos sus términos. Dado que el tamaño de la tabla hash aumenta y disminuye en tiempo real con la adición y eliminación de términos, cada documento ocupará mucho menos espacio en la memoria. Sin embargo, esto conlleva una disminución del rendimiento, ya que las operaciones son más complejas que con vectores de bits . En el peor de los casos, el rendimiento puede degradarse de O( n ) a O( n² ). En promedio, la disminución del rendimiento no será tan grave como con los vectores de bits y el uso del espacio es mucho más eficiente.
Archivo de firma
Cada documento se puede resumir mediante un filtro de Bloom que representa el conjunto de palabras de dicho documento, almacenado en una cadena de bits de longitud fija, denominada firma. El archivo de firmas contiene una de estas cadenas de bits de código superpuesto para cada documento de la colección. Cada consulta también se puede resumir mediante un filtro de Bloom que representa el conjunto de palabras de la consulta, almacenado en una cadena de bits de la misma longitud fija. La cadena de bits de la consulta se compara con cada firma. [ 5 ] [ 6 ] [ 7 ]
El archivo de firma al que se accede se utiliza en BitFunnel .
Archivo invertido
Un archivo de índice invertido contiene dos partes: un vocabulario que contiene todos los términos utilizados en la colección y, para cada término distinto, un índice invertido que enumera todos los documentos que mencionan ese término. [ 5 ] [ 6 ]
Referencias
- ↑ Lancaster, FW; Fayen, EG (1973), Recuperación de información en línea , Melville Publishing Co., Los Ángeles, California
- ↑ "Recuperación de información" . MIT Press . Consultado el 9 de diciembre de 2023 .
- ↑ Shokraneh, Farhad (6 de agosto de 2024). "Deja de buscar y lo encontrarás: conceptos resistentes a la búsqueda en las búsquedas de revisiones sistemáticas". BMJ Evidence-Based Medicine : bmjebm–2023–112798. doi : 10.1136/bmjebm-2023-112798 .
- ↑ Wartik, Steven (1992). "Operaciones booleanas". Estructuras de datos y algoritmos para la recuperación de información . Prentice-Hall, Inc. ISBN 0-13-463837-9Archivado del original el 28 de septiembre de 2013.
- 1 2 Justin Zobel; Alistair Moffat; y Kotagiri Ramamohanarao. "Archivos invertidos frente a archivos de firmas para la indexación de texto" .
- 1 2 Bob Goodwin; et al. "BitFunnel: Revisando las firmas para la búsqueda" . 2017.
- ↑ Richard Startin. "Firmas segmentadas por bits y filtros Bloom" .
- Modelado matemático
- Técnicas de recuperación de información