Articulo de referencia

Modelo booleano de recuperación de información

El modelo booleano estándar de recuperación de información ( BIR ) [ 1 ] es un modelo clásico de recuperación de información (IR) donde los documentos se recuperan según cumplan...

El modelo booleano estándar de recuperación de información ( BIR ) [ 1 ] es un modelo clásico de recuperación de información (IR) donde los documentos se recuperan según cumplan o no las condiciones de una consulta que utiliza lógica booleana . Como el primer y más adoptado modelo de recuperación de información, [ 2 ] trata cada documento como un conjunto de palabras o términos . La consulta del usuario utiliza operadores lógicos como AND, OR y NOT para crear una regla de recuperación. El sistema devuelve entonces todos los documentos que coinciden con la regla.

Definiciones

En el modelo booleano, los documentos y las consultas se representan mediante conceptos de la teoría de conjuntos . Un documento se considera una simple colección (un conjunto) de términos, y una consulta es una declaración formal (una expresión booleana ) que especifica qué términos deben o no deben estar presentes en un documento recuperado.

  • Un término de índice (o término ) es una palabra clave que caracteriza el contenido de un documento. Los términos son las unidades fundamentales del modelo. Las palabras comunes y de baja información (llamadas palabras vacías ) como "un", "el" y "es" generalmente se excluyen del uso como términos de índice.
  • Un documento se representa como un conjunto de términos de índice. Este es un modelo de bolsa de palabras , lo que significa que se ignora el orden y la frecuencia de los términos en el documento original. Por ejemplo, un documento sobre el teorema de Bayes podría representarse simplemente como el conjunto{Teorema de Bayes, probabilidad, toma de decisiones}{\displaystyle \{{\text{Teorema de Bayes, probabilidad, toma de decisiones}}\}}.
  • Una consulta es una expresión formal de la necesidad de información del usuario, escrita mediante términos de índice y operadores booleanos (AND, OR, NOT). El modelo recupera todos los documentos que coinciden con esta expresión lógica.

Representación formal

El modelo se puede definir formalmente de la siguiente manera:

  • DejarT={t1,t2,,tk}{\displaystyle T=\{t_{1},t_{2},\ldots ,t_{k}\}}sea ​​un conjunto de todos los términos de índice.
  • Un documentoDj{\displaystyle D_{j}}es cualquier subconjunto deT{\displaystyle T}.
  • Una consultaQ{\displaystyle Q}es una expresión booleana, típicamente en forma normal conjuntiva :Q=(tatb)(¬tdotd){\displaystyle Q=(t_{a}\lor t_{b})\land (\lnot t_{c}\lor t_{d})\land \dots }dóndeta,tb,T{\displaystyle t_{a},t_{b},\dots \in T}.

La recuperación es el proceso de identificar el conjunto de todos los documentos.{Dj}{\displaystyle \{D_{j}\}}que satisfacen la consultaQ{\displaystyle Q}. Por ejemplo, para la consulta simpleQ=tatb{\displaystyle Q=t_{a}\land t_{b}}, el sistema recuperaría todos los documentos cuyo conjunto de términos contiene ambosta{\displaystyle t_{a}}ytb{\displaystyle t_{b}}.

Ejemplo

Sea, por ejemplo, el conjunto de documentos originales (reales)

D={D1, D2, D3}{\displaystyle D=\{D_{1},\ D_{2},\ D_{3}\}}

dónde

D1{\textstyle D_{1}}= "Principio de Bayes: El principio que establece que, al estimar un parámetro, se debe asumir inicialmente que cada valor posible tiene la misma probabilidad (una distribución previa uniforme)."

D2{\textstyle D_{2}}" Teoría de la decisión bayesiana : Teoría matemática de la toma de decisiones que presupone funciones de utilidad y probabilidad, y según la cual la acción a elegir es la bayesiana, es decir, aquella con la mayor utilidad esperada subjetiva. Si se dispusiera de tiempo y capacidad de cálculo ilimitados para tomar cualquier decisión, este procedimiento sería la mejor manera de hacerlo."

D3{\textstyle D_{3}}= " Epistemología bayesiana : Teoría filosófica que sostiene que el estatus epistémico de una proposición (es decir, cuán bien probada o establecida está) se mide mejor mediante una probabilidad y que la forma adecuada de revisar esta probabilidad viene dada por la condicionalización bayesiana o procedimientos similares. Un epistemólogo bayesiano usaría la probabilidad para definir y explorar la relación entre conceptos como el estatus epistémico, el apoyo o el poder explicativo ."

Dejemos que el conjuntoT{\textstyle T}de términos ser:T={t1=Principio de Bayes,t2=probabilidad,t3=Toma de decisiones,t4=epistemología bayesiana}{\displaystyle T=\{t_{1}={\text{Bayes' principle}},t_{2}={\text{probability}},t_{3}={\text{decision-making}},t_{4}={\text{Bayesian epistemology}}\}}Luego, el conjuntoD{\textstyle D}La lista de documentos es la siguiente:D={D1, D2, D3}{\displaystyle D=\{D_{1},\ D_{2},\ D_{3}\}}dóndeD1={probabilidad, Principio de Bayes}D2={probabilidad, Toma de decisiones}D3={probabilidad, epistemología bayesiana}{\displaystyle {\begin{aligned}D_{1}&=\{{\text{probability}},\ {\text{Bayes' principle}}\}\\D_{2}&=\{{\text{probability}},\ {\text{decision-making}}\}\\D_{3}&=\{{\text{probability}},\ {\text{Bayesian epistemology}}\}\end{aligned}}}Dejemos la consultaQ{\textstyle Q}ser ("probabilidad" Y "toma de decisiones"):Q=probabilidadToma de decisiones{\displaystyle Q={\text{probability}}\land {\text{decision-making}}}A continuación, para recuperar los documentos pertinentes:

  1. En primer lugar, los siguientes conjuntosS1{\textstyle S_{1}}yS2{\textstyle S_{2}}de documentosDi{\textstyle D_{i}} se obtienen (recuperan):S1={D1, D2, D3}S2={D2}{\displaystyle {\begin{aligned}S_{1}&=\{D_{1},\ D_{2},\ D_{3}\}\\S_{2}&=\{D_{2}\}\end{aligned}}}DóndeS1{\displaystyle S_{1}}corresponde a los documentos que contienen el término "probabilidad" yS2{\displaystyle S_{2}}contienen el término "toma de decisiones".
  2. Finalmente, los siguientes documentosDi{\textstyle D_{i}}se recuperan en respuesta aQ{\textstyle Q}:Q:{D1, D2, D3}  {D2} = {D2}{\displaystyle Q:\{D_{1},\ D_{2},\ D_{3}\}\ \cap \ \{D_{2}\}\ =\ \{D_{2}\}}Donde la consulta busca documentos que estén contenidos en ambos conjuntos.S{\displaystyle S}utilizando el operador de intersección.

Esto significa que el documento originalD2{\displaystyle D_{2}}es la respuesta aQ{\textstyle Q}.

Si hay más de un documento con la misma representación (el mismo subconjunto de términos de índice)tnorte{\displaystyle t_{n}}), se recupera cada uno de esos documentos. Dichos documentos son indistinguibles en el BIR (es decir, equivalentes).

Ventajas

  • Formalismo limpio
  • Fácil de implementar
  • Concepto intuitivo
  • Si el conjunto de documentos resultante es demasiado pequeño o demasiado grande, resulta evidente qué operadores producirán, respectivamente, un conjunto mayor o menor.
  • Esto proporciona a los usuarios (expertos) una sensación de control sobre el sistema. Queda claro de inmediato por qué se ha recuperado un documento a partir de una consulta.

Desventajas

  • La coincidencia exacta puede recuperar muy pocos o demasiados documentos.
  • Es difícil traducir una consulta a una expresión booleana.
  • Ineficaz para conceptos resistentes a la búsqueda [ 3 ]
  • Todos los términos tienen el mismo peso.
  • Más bien recuperación de datos que recuperación de información.
  • Recuperación basada en criterios de decisión binarios sin noción de coincidencia parcial.
  • No se proporciona ninguna clasificación de los documentos (ausencia de una escala de calificación).
  • La necesidad de información debe traducirse en una expresión booleana, lo que a la mayoría de los usuarios les resulta incómodo.
  • Las consultas booleanas formuladas por los usuarios suelen ser demasiado simples.
  • El modelo suele devolver demasiados o muy pocos documentos en respuesta a la consulta del usuario.

Estructuras de datos y algoritmos

Desde un punto de vista puramente matemático formal, el BIR es sencillo. Sin embargo, desde un punto de vista práctico, deben resolverse varios problemas adicionales relacionados con algoritmos y estructuras de datos, como, por ejemplo, la elección de términos (selección manual o automática o ambas), la lematización , las tablas hash , la estructura de archivos invertida , etc. [ 4 ]

Conjuntos hash

Otra posibilidad es utilizar conjuntos hash . Cada documento se representa mediante una tabla hash que contiene todos sus términos. Dado que el tamaño de la tabla hash aumenta y disminuye en tiempo real con la adición y eliminación de términos, cada documento ocupará mucho menos espacio en la memoria. Sin embargo, esto conlleva una disminución del rendimiento, ya que las operaciones son más complejas que con vectores de bits . En el peor de los casos, el rendimiento puede degradarse de O( n ) a O( ). En promedio, la disminución del rendimiento no será tan grave como con los vectores de bits y el uso del espacio es mucho más eficiente.

Archivo de firma

Cada documento se puede resumir mediante un filtro de Bloom que representa el conjunto de palabras de dicho documento, almacenado en una cadena de bits de longitud fija, denominada firma. El archivo de firmas contiene una de estas cadenas de bits de código superpuesto para cada documento de la colección. Cada consulta también se puede resumir mediante un filtro de Bloom que representa el conjunto de palabras de la consulta, almacenado en una cadena de bits de la misma longitud fija. La cadena de bits de la consulta se compara con cada firma. [ 5 ] [ 6 ] [ 7 ]

El archivo de firma al que se accede se utiliza en BitFunnel .

Archivo invertido

Un archivo de índice invertido contiene dos partes: un vocabulario que contiene todos los términos utilizados en la colección y, para cada término distinto, un índice invertido que enumera todos los documentos que mencionan ese término. [ 5 ] [ 6 ]

Referencias

  1. Lancaster, FW; Fayen, EG (1973), Recuperación de información en línea , Melville Publishing Co., Los Ángeles, California
  2. "Recuperación de información" . MIT Press . Consultado el 9 de diciembre de 2023 .
  3. Shokraneh, Farhad (6 de agosto de 2024). "Deja de buscar y lo encontrarás: conceptos resistentes a la búsqueda en las búsquedas de revisiones sistemáticas". BMJ Evidence-Based Medicine : bmjebm–2023–112798. doi : 10.1136/bmjebm-2023-112798 .
  4. Wartik, Steven (1992). "Operaciones booleanas". Estructuras de datos y algoritmos para la recuperación de información . Prentice-Hall, Inc. ISBN 0-13-463837-9Archivado del original el 28 de septiembre de 2013.
  5. 1 2 Justin Zobel; Alistair Moffat; y Kotagiri Ramamohanarao. "Archivos invertidos frente a archivos de firmas para la indexación de texto" .
  6. 1 2 Bob Goodwin; et al. "BitFunnel: Revisando las firmas para la búsqueda" . 2017.
  7. Richard Startin. "Firmas segmentadas por bits y filtros Bloom" .
  • Lashkari, AH; Mahdavi, F.; Ghomi, V. (2009), "Un modelo booleano en la recuperación de información para motores de búsqueda", Conferencia Internacional de 2009 sobre Gestión e Ingeniería de la Información , pp. 385–389 , doi : 10.1109/ICIME.2009.101 , ISBN  978-0-7695-3595-1, S2CID 18147603