Medidas de evaluación (recuperación de información)

La tasa de abandono de sesión es la proporción de sesiones de búsqueda que no resultan en un clic.

La tasa de clics (CTR) es la proporción de usuarios que hacen clic en un enlace específico con respecto al número total de usuarios que ven una página, correo electrónico o anuncio. Se utiliza comúnmente para medir el éxito de una campaña publicitaria en línea para un sitio web en particular, así como la efectividad de las campañas de correo electrónico. ^{[ 6 ]}

La tasa de éxito de sesión mide la proporción de sesiones de usuario que resultan en un éxito. La definición de "éxito" suele depender del contexto, pero en el caso de las búsquedas, un resultado exitoso se suele medir utilizando el tiempo de permanencia como factor principal, junto con la interacción secundaria del usuario. Por ejemplo, se considera un resultado exitoso que el usuario copie la URL del resultado, al igual que copiar y pegar desde el fragmento.

La tasa de resultados cero ( ZRR , por sus siglas en inglés) es la proporción de páginas de resultados de búsqueda (SERP, por sus siglas en inglés) que no arrojan ningún resultado. Esta métrica indica un problema de recuperación de información o que la información buscada no se encuentra en el índice.

La precisión es la fracción de los documentos recuperados que son relevantes para la necesidad de información del usuario.

${\displaystyle {\mbox{precisión}}={\frac {|\{{\mbox{documentos relevantes}}\}\cap \{{\mbox{documentos recuperados}}\}|}{|\{{\mbox{documentos recuperados}}\}|}}}$

En la clasificación binaria , la precisión es análoga al valor predictivo positivo . La precisión tiene en cuenta todos los documentos recuperados. También se puede evaluar considerando solo los mejores resultados devueltos por el sistema usando Precision@k .

Cabe señalar que el significado y el uso de "precisión" en el campo de la recuperación de información difieren de la definición de exactitud y precisión en otras ramas de la ciencia y la estadística .

La tasa de recuperación es la fracción de documentos relevantes para la consulta que se recuperan correctamente.

${\displaystyle {\mbox{recall}}={\frac {|\{{\mbox{documentos relevantes}}\}\cap \{{\mbox{documentos recuperados}}\}|}{|\{{\mbox{documentos relevantes}}\}|}}}$

En la clasificación binaria, la exhaustividad se suele denominar sensibilidad . Por lo tanto, puede considerarse como la probabilidad de que la consulta recupere un documento relevante .

Es muy sencillo lograr una exhaustividad del 100% devolviendo todos los documentos en respuesta a cualquier consulta. Por lo tanto, la exhaustividad por sí sola no es suficiente, sino que también es necesario medir la cantidad de documentos irrelevantes, por ejemplo, calculando la precisión.

La proporción de documentos no relevantes que se recuperan, respecto del total de documentos no relevantes disponibles:

${\displaystyle {\mbox{fall-out}}={\frac {|\{{\mbox{documentos no relevantes}}\}\cap \{{\mbox{documentos recuperados}}\}|}{|\{{\mbox{documentos no relevantes}}\}|}}}$

En la clasificación binaria, la caída es lo opuesto a la especificidad y es igual a${\displaystyle (1-{\mbox{especificidad}})}$. Puede considerarse como la probabilidad de que la consulta recupere un documento irrelevante .

Es trivial lograr un resultado del 0% devolviendo cero documentos en respuesta a cualquier consulta.

La media armónica ponderada de precisión y exhaustividad, la medida F tradicional o puntuación F equilibrada, es:

${\displaystyle F={\frac {2\cdot \mathrm {precisión} \cdot \mathrm {recall} }{(\mathrm {precisión} +\mathrm {recall} )}}}$

Esto también se conoce como el${\displaystyle F_{1}}$medida, porque la exhaustividad y la precisión tienen el mismo peso.

La fórmula general para números reales no negativos${\displaystyle \beta }$es:

${\displaystyle F_{\beta }={\frac {(1+\beta ^{2})\cdot (\mathrm {precision} \cdot \mathrm {recall} )}{(\beta ^{2}\cdot \mathrm {precision} +\mathrm {recall} )}}\,}$

Otras dos medidas F de uso común son la${\displaystyle F_{2}}$medida, que pondera el recuerdo el doble que la precisión, y la${\displaystyle F_{0.5}}$medida que otorga a la precisión el doble de peso que a la exhaustividad.

La medida F fue derivada por van Rijsbergen (1979) de modo que${\displaystyle F_{\beta }}$"mide la efectividad de la recuperación con respecto a un usuario que adjunta${\displaystyle \beta }$"Tanta importancia para recordar como para la precisión". Se basa en la medida de efectividad de van Rijsbergen.${\displaystyle E=1-{\frac {1}{{\frac {\alpha }{P}}+{\frac {1-\alpha }{R}}}}}$Su relación es:

${\displaystyle F_{\beta }=1-E}$dónde${\displaystyle \alpha ={\frac {1}{1+\beta ^{2}}}}$

Dado que la medida F combina información tanto de la precisión como de la exhaustividad, es una forma de representar el rendimiento general sin presentar dos números.

La precisión y la exhaustividad son métricas de valor único basadas en la lista completa de documentos devueltos por el sistema. Para sistemas que devuelven una secuencia clasificada de documentos, es deseable considerar también el orden en que se presentan los documentos devueltos. Al calcular la precisión y la exhaustividad en cada posición de la secuencia clasificada de documentos, se puede trazar una curva de precisión-exhaustividad, trazando la precisión${\displaystyle p(r)}$en función de la capacidad de recordar${\displaystyle r}$. La precisión promedio calcula el valor promedio de${\displaystyle p(r)}$durante el intervalo desde${\displaystyle r=0}$a${\displaystyle r=1}$: ^{[ 7 ]}

${\displaystyle \operatorname {AveP} =\int _{0}^{1}p(r)dr}$

Esa es el área bajo la curva de precisión-exhaustividad. En la práctica, esta integral se reemplaza por una suma finita sobre cada posición en la secuencia clasificada de documentos:

${\displaystyle \operatorname {AveP} =\sum _{k=1}^{n}P(k)\Delta r(k)}$

dónde${\displaystyle k}$es el rango en la secuencia de documentos recuperados,${\displaystyle n}$es el número de documentos recuperados,${\displaystyle P(k)}$es la precisión en el punto de corte${\displaystyle k}$en la lista, y${\displaystyle \Delta r(k)}$es el cambio en el recuerdo de los elementos${\displaystyle k-1}$a${\displaystyle k}$. ^{[ 7 ]}

Esta suma finita es equivalente a:

${\displaystyle \operatorname {AveP} ={\frac {\sum _{k=1}^{n}P(k)\times \operatorname {rel} (k)}{\mbox{total number of relevant documents}}}\!}$

dónde${\displaystyle \operatorname {rel} (k)}$es una función indicadora que es igual a 1 si el elemento en el rango${\displaystyle k}$es un documento relevante, cero en caso contrario. ^{[ 8 ]} Tenga en cuenta que el promedio se calcula sobre los documentos relevantes en los k documentos recuperados principales y los documentos relevantes no recuperados obtienen una puntuación de precisión de cero.

Algunos autores optan por interpolar el${\displaystyle p(r)}$función para reducir el impacto de las "oscilaciones" en la curva. ^{[ 9 ] [ 10 ]} Por ejemplo, el desafío PASCAL Visual Object Classes (un punto de referencia para la detección de objetos en visión artificial) hasta 2010 ^{[ 11 ]} calculaba la precisión promedio promediando la precisión sobre un conjunto de niveles de recuperación espaciados uniformemente {0, 0.1, 0.2, ... 1.0}: ^{[ 9 ] [ 10 ]}

${\displaystyle \operatorname {AveP} ={\frac {1}{11}}\sum _{r\in \{0,0.1,\ldots ,1.0\}}p_{\operatorname {interp} }(r)}$

dónde${\displaystyle p_{\operatorname {interp} }(r)}$es una precisión interpolada que toma la precisión máxima sobre todos los valores de recuperación mayores que${\displaystyle r}$:

${\displaystyle p_{\operatorname {interp} }(r)=\operatorname {max} _{{\tilde {r}}:{\tilde {r}}\geq r}p({\tilde {r}})}$.

Una alternativa es derivar una analítica${\displaystyle p(r)}$La función se obtiene asumiendo una distribución paramétrica particular para los valores de decisión subyacentes. Por ejemplo, una curva de precisión-exhaustividad binormal se puede obtener asumiendo que los valores de decisión en ambas clases siguen una distribución gaussiana. ^{[ 12 ]}

El valor mínimo de Promedio de Promedio (AveP) alcanzable para una tarea de clasificación determinada viene dado por:

${\displaystyle {\frac {1}{n_{pos}}}\sum _{k=1}^{n_{pos}}{\frac {k}{k+n_{neg}}}}$^{[ 13 ]}

Para la recuperación de información moderna (a escala web), la exhaustividad ya no es una métrica significativa, ya que muchas consultas tienen miles de documentos relevantes y pocos usuarios estarán interesados ​​en leerlos todos. La precisión en k documentos (P@k) sigue siendo una métrica útil (por ejemplo, P@10 o "Precisión en 10" corresponde al número de resultados relevantes entre los 10 primeros documentos recuperados), pero no tiene en cuenta las posiciones de los documentos relevantes entre los k primeros. ^{[ 14 ]} Otra deficiencia es que en una consulta con menos resultados relevantes que k, incluso un sistema perfecto tendrá una puntuación menor que 1. ^{[ 15 ]} Es más fácil puntuar manualmente ya que solo es necesario examinar los k primeros resultados para determinar si son relevantes o no.

La precisión R requiere conocer todos los documentos que son relevantes para una consulta. El número de documentos relevantes,${\displaystyle R}$, se utiliza como umbral para el cálculo, y esto varía de una consulta a otra. Por ejemplo, si hay 15 documentos relevantes para "rojo" en un corpus (R=15), la precisión R para "rojo" examina los 15 documentos principales devueltos, cuenta el número de los que son relevantes,${\displaystyle r}$y lo convierte en una fracción de relevancia:${\displaystyle r/R=r/15}$. ^{[ 16 ]}

Tenga en cuenta que la precisión R es equivalente a la precisión en el${\displaystyle R}$-ésima posición (P@${\displaystyle R}$) y la retirada en el${\displaystyle R}$-ésima posición. ^{[ 15 ]}

Empíricamente, esta medida suele estar altamente correlacionada con la precisión media promedio. ^{[ 15 ]}

La precisión media promedio (MAP, por sus siglas en inglés) para un conjunto de consultas es la media de las puntuaciones de precisión promedio para cada consulta.

${\displaystyle \operatorname {MAP} ={\frac {\sum _{q=1}^{Q}\operatorname {AveP(q)} }{Q}}\!}$

donde Q es el número de consultas.

DCG utiliza una escala de relevancia graduada de los documentos del conjunto de resultados para evaluar la utilidad, o ganancia, de un documento en función de su posición en la lista de resultados. La premisa de DCG es que los documentos altamente relevantes que aparecen más abajo en una lista de resultados de búsqueda deben ser penalizados, ya que el valor de relevancia graduada se reduce logarítmicamente de forma proporcional a la posición del resultado. ^{[ 17 ]}

El DCG se acumuló en una posición de rango particular${\displaystyle p}$se define como:

${\displaystyle \mathrm {DCG_{p}} =\sum _{i=1}^{p}{\frac {rel_{i}}{\log _{2}(i+1)}}.}$

Dado que el conjunto de resultados puede variar en tamaño entre diferentes consultas o sistemas, para comparar el rendimiento la versión normalizada de DCG utiliza un DCG ideal. Para ello, ordena los documentos de una lista de resultados por relevancia, produciendo un DCG ideal en la posición p (${\displaystyle IDCG_{p}}$), que normaliza la puntuación:

${\displaystyle \mathrm {nDCG_{p}} ={\frac {DCG_{p}}{IDCG{p}}}.}$

Los valores nDCG para todas las consultas se pueden promediar para obtener una medida del rendimiento promedio de un algoritmo de clasificación. Tenga en cuenta que en un algoritmo de clasificación perfecto, el${\displaystyle DCG_{p}}$será lo mismo que el${\displaystyle IDCG_{p}}$produciendo un nDCG de 1,0. Todos los cálculos de nDCG son entonces valores relativos en el intervalo de 0,0 a 1,0 y, por lo tanto, son comparables entre consultas cruzadas. ^{[ 18 ]}

• Rango recíproco medio
• bpref: una medida basada en la suma de cuántos documentos relevantes se clasifican antes que los documentos irrelevantes ^{[ 16 ].}
• GMAP - media geométrica de la precisión media (por tema) ^{[ 16 ]}
• Medidas basadas en la relevancia marginal y la diversidad documental - véase Relevancia (recuperación de información) §  Problemas y alternativas
• Medidas de relevancia y credibilidad (para noticias falsas en los resultados de búsqueda) ^{[ 19 ]}
• Tasa de aciertos

Las visualizaciones del rendimiento de la recuperación de información incluyen:

• Gráficos que representan la precisión en un eje y la exhaustividad en el otro ^{[ 16 ]}
• Histogramas de precisión promedio sobre diversos temas ^{[ 16 ]}
• Características operativas del receptor (curva ROC)
• Matriz de confusión

Medir la cantidad de consultas realizadas en el sistema de búsqueda por (mes/día/hora/minuto/segundo) permite monitorizar su utilización. Puede usarse para diagnósticos, para detectar picos inesperados en las consultas, o simplemente como referencia para comparar con otras métricas, como la latencia de las consultas. Por ejemplo, un pico en el tráfico de consultas puede explicar un pico en la latencia de las mismas.