Probabilidad logarítmica

En teoría de la probabilidad e informática , una probabilidad logarítmica es simplemente el logaritmo de una probabilidad . ^{[ 1 ]} El uso de probabilidades logarítmicas significa representar probabilidades en una escala logarítmica , en lugar del intervalo unitario estándar .${\displaystyle (-\infty ,0]}$${\displaystyle [0,1]}$

Dado que las probabilidades de eventos independientes se multiplican y los logaritmos convierten la multiplicación en suma, las probabilidades logarítmicas de eventos independientes se suman. Por lo tanto, las probabilidades logarítmicas son prácticas para los cálculos y tienen una interpretación intuitiva en términos de la teoría de la información : el valor esperado negativo de las probabilidades logarítmicas es la entropía de la información de un evento. De manera similar, las probabilidades se transforman a menudo a la escala logarítmica, y la probabilidad logarítmica correspondiente puede interpretarse como el grado en que un evento respalda un modelo estadístico . La probabilidad logarítmica se utiliza ampliamente en implementaciones de cálculos con probabilidad y se estudia como un concepto en sí mismo en algunas aplicaciones de la teoría de la información, como el procesamiento del lenguaje natural .

Representar las probabilidades de esta manera tiene varias ventajas prácticas:

1. Velocidad. Dado que la multiplicación es más costosa que la suma, el producto de un gran número de probabilidades suele ser más rápido si se representan en forma logarítmica. (La conversión a forma logarítmica es costosa, pero solo se realiza una vez). La multiplicación surge del cálculo de la probabilidad de que ocurran múltiples eventos independientes: la probabilidad de que ocurran todos los eventos independientes de interés es el producto de las probabilidades de todos estos eventos.
2. Precisión. El uso de probabilidades logarítmicas mejora la estabilidad numérica cuando las probabilidades son muy pequeñas, debido a la forma en que las computadoras aproximan los números reales . ^{[ 1 ]}
3. Sencillez. Muchas distribuciones de probabilidad tienen una forma exponencial. Al tomar el logaritmo de estas distribuciones, se elimina la función exponencial, descomponiendo el exponente. Por ejemplo, el logaritmo de la probabilidad de la función de densidad de probabilidad de la distribución normal es en lugar de . Los logaritmos de probabilidad facilitan algunas manipulaciones matemáticas.${\displaystyle -((x-m_{x})/\sigma _{m})^{2}+C}$${\displaystyle C_{2}\exp \left(-((x-m_{x})/\sigma _{m})^{2}\right)}$
4. Optimización. Dado que la mayoría de las distribuciones de probabilidad comunes —en particular la familia exponencial— son solo logarítmicamente cóncavas , ^{[ 2 ] [ 3 ]} y la concavidad de la función objetivo juega un papel clave en la maximización de una función como la probabilidad, los optimizadores funcionan mejor con probabilidades logarítmicas.

La función logaritmo no está definida para cero, por lo que las probabilidades logarítmicas solo pueden representar probabilidades distintas de cero. Dado que el logaritmo de un número en un intervalo es negativo, a menudo se utilizan probabilidades logarítmicas negativas. En ese caso, las probabilidades logarítmicas en las siguientes fórmulas se invertirían .${\displaystyle (0,1)}$

Se puede seleccionar cualquier base para el logaritmo.

En esta sección denominaremos probabilidades en espacio logarítmico y, de forma abreviada: ${\displaystyle x'}$${\displaystyle y'}$$${\displaystyle {\begin{aligned}x'&=\log(x)\in \mathbb {R} \\y'&=\log(y)\in \mathbb {R} \end{aligned}}}$$

El producto de probabilidades corresponde a una suma en el espacio logarítmico.${\displaystyle x\cdot y}$

$${\displaystyle \log(x\cdot y)=\log(x)+\log(y)=x'+y'.}$$

La suma de probabilidades es un poco más compleja de calcular en el espacio logarítmico, ya que requiere el cálculo de un exponente y un logaritmo.${\displaystyle x+y}$

Sin embargo, en muchas aplicaciones, la multiplicación de probabilidades (que da la probabilidad de que ocurran todos los eventos independientes) se usa con más frecuencia que su suma (que da la probabilidad de que ocurra al menos uno de eventos mutuamente excluyentes). Además, en algunas situaciones se puede evitar el costo de calcular la suma simplemente usando la probabilidad más alta como aproximación. Dado que las probabilidades son no negativas, esto proporciona un límite inferior. Esta aproximación se usa a la inversa para obtener una aproximación continua de la función max .

• Contenido informativo
• Probabilidad logarítmica