Inferencia bayesiana

La inferencia bayesiana deriva la probabilidad posterior como consecuencia de dos antecedentes : una probabilidad previa y una " función de verosimilitud " derivada de un modelo estadístico para los datos observados. La inferencia bayesiana calcula la probabilidad posterior según el teorema de Bayes :

$${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},}$$

dónde

• ${\displaystyle H}$Se refiere a cualquier hipótesis cuya probabilidad pueda verse afectada por los datos (denominados evidencia más adelante). A menudo existen hipótesis contrapuestas, y la tarea consiste en determinar cuál es la más probable.
• ${\displaystyle P(H)}$, la probabilidad previa , es la estimación de la probabilidad de la hipótesis${\displaystyle H}$antes de los datos${\displaystyle E}$, la evidencia actual, se observa.
• ${\displaystyle E}$La evidencia corresponde a nuevos datos que no se utilizaron para calcular la probabilidad previa.
• ${\displaystyle P(H\mid E)}$, la probabilidad posterior , es la probabilidad de${\displaystyle H}$dado${\displaystyle E}$, es decir, después${\displaystyle E}$se observa. Esto es lo que queremos saber: la probabilidad de una hipótesis dada la evidencia observada.
• ${\displaystyle P(E\mid H)}$es la probabilidad de observar${\displaystyle E}$dado${\displaystyle H}$y se denomina probabilidad . Como función de${\displaystyle E}$con${\displaystyle H}$fijo, indica la compatibilidad de la evidencia con la hipótesis dada. La función de verosimilitud es una función de la evidencia,${\displaystyle E}$, mientras que la probabilidad posterior es una función de la hipótesis,${\displaystyle H}$.
• ${\displaystyle P(E)}$A veces se le denomina probabilidad marginal o "evidencia del modelo". Este factor es el mismo para todas las hipótesis posibles que se estén considerando (como se evidencia en el hecho de que la hipótesis${\displaystyle H}$no aparece en ninguna parte del símbolo, a diferencia de todos los demás factores) y, por lo tanto, no influye en la determinación de las probabilidades relativas de las diferentes hipótesis.
• ${\displaystyle P(E)>0}$(De lo contrario uno tiene${\displaystyle 0/0}$.)

Para diferentes valores de${\displaystyle H}$, solo los factores${\displaystyle P(H)}$y${\displaystyle P(E\mid H)}$, ambos en el numerador, afectan el valor de${\displaystyle P(H\mid E)}$ – La probabilidad posterior de una hipótesis es proporcional a su probabilidad previa (su probabilidad inherente) y a la probabilidad recién adquirida (su compatibilidad con la nueva evidencia observada).

En los casos en que${\displaystyle \neg H}$("no${\displaystyle H}$"), la negación lógica de${\displaystyle H}$Si existe una probabilidad válida, la regla de Bayes se puede reescribir de la siguiente manera:

$${\displaystyle {\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}}$$

porque

$${\displaystyle P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}$$

y

$${\displaystyle P(H)+P(\neg H)=1.}$$

Esto centra la atención en el término

$${\displaystyle \left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.}$$

Si ese término es aproximadamente 1, entonces la probabilidad de la hipótesis dada la evidencia,${\displaystyle P(H\mid E)}$, se trata de${\displaystyle {\tfrac {1}{2}}}$, aproximadamente un 50% probable - igualmente probable o no probable. Si ese término es muy pequeño, cercano a cero, entonces la probabilidad de la hipótesis, dada la evidencia,${\displaystyle P(H\mid E)}$está cerca de 1 o la hipótesis condicional es bastante probable. Si ese término es muy grande, mucho mayor que 1, entonces la hipótesis, dada la evidencia, es bastante improbable. Si la hipótesis (sin considerar la evidencia) es improbable, entonces${\displaystyle P(H)}$es pequeño (pero no necesariamente astronómicamente pequeño) y${\displaystyle {\tfrac {1}{P(H)}}}$es mucho mayor que 1 y este término se puede aproximar como${\displaystyle {\tfrac {P(E\mid \neg H)}{P(E\mid H)\cdot P(H)}}}$y las probabilidades relevantes pueden compararse directamente entre sí.

Una forma rápida y sencilla de recordar la ecuación sería usar la regla de la multiplicación :

$${\displaystyle P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).}$$

La actualización bayesiana es ampliamente utilizada y computacionalmente conveniente. Sin embargo, no es la única regla de actualización que podría considerarse racional.

Ian Hacking señaló que los argumentos tradicionales del " libro holandés " no especificaban la actualización bayesiana: dejaban abierta la posibilidad de que las reglas de actualización no bayesianas pudieran evitar los libros holandeses. Hacking escribió: ^{[ 3 ]} "Y ni el argumento del libro holandés ni ningún otro en el arsenal personalista de pruebas de los axiomas de probabilidad implican la suposición dinámica. Ninguno implica el bayesianismo. Por lo tanto, el personalista requiere que la suposición dinámica sea bayesiana. Es cierto que, en coherencia, un personalista podría abandonar el modelo bayesiano de aprendizaje a partir de la experiencia. La sal podría perder su sabor."

De hecho, existen reglas de actualización no bayesianas que también evitan los libros holandeses (como se discute en la literatura sobre " cinemática de la probabilidad ") tras la publicación de la regla de Richard C. Jeffrey , que aplica la regla de Bayes al caso en que a la evidencia misma se le asigna una probabilidad. ^{[ 4 ]} Las hipótesis adicionales necesarias para requerir de forma única la actualización bayesiana se han considerado sustanciales, complicadas e insatisfactorias. ^{[ 5 ]}

Supongamos que un proceso está generando eventos independientes e idénticamente distribuidos.${\displaystyle E_{n},\ n=1,2,3,\ldots }$, pero se desconoce la distribución de probabilidad . Sea el espacio de eventos${\displaystyle \Omega }$representan el estado actual de creencia para este proceso. Cada modelo está representado por un evento${\displaystyle M_{m}}$. Las probabilidades condicionales${\displaystyle P(E_{n}\mid M_{m})}$se especifican para definir los modelos.${\displaystyle P(M_{m})}$es el grado de creencia en${\displaystyle M_{m}}$. Antes del primer paso de inferencia,${\displaystyle \{P(M_{m})\}}$es un conjunto de probabilidades previas iniciales . Estas deben sumar 1, pero por lo demás son arbitrarias.

Supongamos que se observa que el proceso genera${\displaystyle E\in \{E_{n}\}}$. Para cada${\displaystyle M\in \{M_{m}\}}$, el anterior${\displaystyle P(M)}$se actualiza a la parte posterior${\displaystyle P(M\mid E)}$. Del teorema de Bayes : ^{[ 6 ]}

$${\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).}$$

Tras observar nuevas pruebas, este procedimiento podrá repetirse.

Para una secuencia de observaciones independientes e idénticamente distribuidas${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$, se puede demostrar por inducción que la aplicación repetida de lo anterior es equivalente a $${\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),}$$ dónde $${\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}$$

Al parametrizar el espacio de modelos, la creencia en todos ellos puede actualizarse en un solo paso. La distribución de la creencia sobre el espacio de modelos puede considerarse entonces como una distribución de la creencia sobre el espacio de parámetros. Las distribuciones en esta sección se expresan como continuas, representadas por densidades de probabilidad, como es habitual. Sin embargo, la técnica es igualmente aplicable a distribuciones discretas.

Sea el vector${\displaystyle {\boldsymbol {\theta }}}$abarcar el espacio de parámetros. Sea la distribución previa inicial sobre${\displaystyle {\boldsymbol {\theta }}}$ser${\displaystyle p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})}$, dónde${\displaystyle {\boldsymbol {\alpha }}}$es un conjunto de parámetros para la distribución a priori misma, o hiperparámetros . Sea${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$sea ​​una secuencia de observaciones de eventos independientes e idénticamente distribuidas , donde todas${\displaystyle e_{i}}$se distribuyen como${\displaystyle p(e\mid {\boldsymbol {\theta }})}$para algunos${\displaystyle {\boldsymbol {\theta }}}$El teorema de Bayes se aplica para encontrar la distribución posterior sobre${\displaystyle {\boldsymbol {\theta }}}$:

$${\displaystyle {\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}}$$ dónde $${\displaystyle p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).}$$

• ${\displaystyle x}$, un punto de datos en general. Esto puede ser un vector de valores.
• ${\displaystyle \theta }$, el parámetro de la distribución del punto de datos, es decir,${\displaystyle x\sim p(x\mid \theta )}$. Esto puede ser un vector de parámetros.
• ${\displaystyle \alpha }$, el hiperparámetro de la distribución de parámetros, es decir,${\displaystyle \theta \sim p(\theta \mid \alpha )}$. Esto puede ser un vector de hiperparámetros.
• ${\displaystyle \mathbf {X} }$es la muestra, un conjunto de${\displaystyle n}$puntos de datos observados, es decir,${\displaystyle x_{1},\ldots ,x_{n}}$.
• ${\displaystyle {\tilde {x}}}$, un nuevo dato cuya distribución debe predecirse.

• La distribución previa es la distribución del/de los parámetro(s) antes de que se observen los datos, es decir${\displaystyle p(\theta \mid \alpha )}$La distribución previa podría no ser fácil de determinar; en tal caso, una posibilidad podría ser utilizar la distribución previa de Jeffreys para obtener una distribución previa antes de actualizarla con observaciones más recientes.
• La distribución muestral es la distribución de los datos observados condicionada a sus parámetros, es decir${\displaystyle p(\mathbf {X} \mid \theta )}$ Esto también se denomina probabilidad , especialmente cuando se considera como una función del/de los parámetro(s), a veces escrito${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )}$.
• La probabilidad marginal (a veces también denominada evidencia ) es la distribución de los datos observados marginalizada sobre el/los parámetro(s), es decir$${\displaystyle p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )d\theta .}$$Cuantifica la concordancia entre los datos y la opinión de los expertos, en un sentido geométrico que puede precisarse. ^{[ 7 ]} Si la probabilidad marginal es 0, entonces no hay concordancia entre los datos y la opinión de los expertos y no se puede aplicar la regla de Bayes.
• La distribución posterior es la distribución del/de los parámetro(s) después de tener en cuenta los datos observados. Esta se determina mediante la regla de Bayes , que constituye el núcleo de la inferencia bayesiana:

${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}}$${\displaystyle ={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha ).}$

Esto se expresa en palabras como "la probabilidad posterior es proporcional a la probabilidad multiplicada por la probabilidad previa", o a veces como "la probabilidad posterior = probabilidad multiplicada por la probabilidad previa, sobre la evidencia".

• En la práctica, para casi todos los modelos bayesianos complejos utilizados en el aprendizaje automático, la distribución posterior${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )}$no se obtiene en una distribución de forma cerrada, principalmente porque el espacio de parámetros para${\displaystyle \theta }$puede ser muy alto, o el modelo bayesiano conserva cierta estructura jerárquica formulada a partir de las observaciones.${\displaystyle \mathbf {X} }$y parámetro${\displaystyle \theta }$En tales situaciones, necesitamos recurrir a técnicas de aproximación. ^{[ 8 ]}
• Caso general: Sea${\displaystyle P_{Y}^{x}}$sea ​​la distribución condicional de${\displaystyle Y}$dado${\displaystyle X=x}$y dejar${\displaystyle P_{X}}$ser la distribución de${\displaystyle X}$La distribución conjunta es entonces${\displaystyle P_{X,Y}(dx,dy)=P_{Y}^{x}(dy)P_{X}(dx)}$La distribución condicional${\displaystyle P_{X}^{y}}$de${\displaystyle X}$ dado${\displaystyle Y=y}$entonces se determina por

$${\displaystyle P_{X}^{y}(A)=E(1_{A}(X)|Y=y)}$$La existencia y unicidad de la esperanza condicional necesaria es consecuencia del teorema de Radon-Nikodym . Este fue formulado por Kolmogorov en su famoso libro de 1933. Kolmogorov subraya la importancia de la probabilidad condicional al escribir en el prefacio: «Deseo llamar la atención sobre... y especialmente sobre la teoría de las probabilidades condicionales y las esperanzas condicionales...». ^{[ 9 ]} El teorema de Bayes determina la distribución posterior a partir de la distribución previa. La unicidad requiere supuestos de continuidad. ^{[ 10 ]} El teorema de Bayes puede generalizarse para incluir distribuciones previas impropias, como la distribución uniforme en la recta real. ^{[ 11 ]} Los métodos modernos de Monte Carlo de cadena de Markov han aumentado la importancia del teorema de Bayes, incluyendo casos con distribuciones previas impropias. ^{[ 12 ]}

• La distribución predictiva posterior es la distribución de un nuevo punto de datos, marginalizada sobre la distribución posterior:$${\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )d\theta }$$
• La distribución predictiva previa es la distribución de un nuevo punto de datos, marginalizada sobre la distribución previa:$${\displaystyle p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )d\theta }$$

La teoría bayesiana propone el uso de la distribución predictiva posterior para realizar inferencias predictivas , es decir, para predecir la distribución de un nuevo dato no observado. Esto significa que, en lugar de un punto fijo como predicción, se devuelve una distribución sobre los puntos posibles. Solo de esta manera se utiliza la distribución posterior completa del o los parámetros. En comparación, la predicción en estadística frecuentista suele implicar encontrar una estimación puntual óptima del o los parámetros —por ejemplo, mediante máxima verosimilitud o estimación de máxima a posteriori (MAP)— y luego sustituir esta estimación en la fórmula de la distribución de un dato. Esto tiene la desventaja de que no considera la incertidumbre en el valor del parámetro y, por lo tanto, subestima la varianza de la distribución predictiva.

En algunos casos, la estadística frecuentista puede sortear este problema. Por ejemplo, los intervalos de confianza y de predicción en estadística frecuentista, cuando se construyen a partir de una distribución normal con media y varianza desconocidas, se construyen utilizando una distribución t de Student . Esto estima correctamente la varianza, debido a que (1)  la media de variables aleatorias con distribución normal también tiene una distribución normal, y (2) la distribución predictiva de un dato con distribución normal, media y varianza desconocidas, utilizando distribuciones a priori conjugadas o no informativas, tiene una distribución t de Student. Sin embargo, en estadística bayesiana, la distribución predictiva posterior siempre se puede determinar con exactitud, o al menos con un nivel de precisión arbitrario cuando se utilizan métodos numéricos.

Ambos tipos de distribuciones predictivas tienen la forma de una distribución de probabilidad compuesta (al igual que la verosimilitud marginal ). De hecho, si la distribución a priori es una distribución a priori conjugada , de modo que las distribuciones a priori y a posteriori pertenecen a la misma familia, se puede observar que ambas distribuciones predictivas, a priori y a posteriori, también pertenecen a la misma familia de distribuciones compuestas. La única diferencia radica en que la distribución predictiva a posteriori utiliza los valores actualizados de los hiperparámetros (aplicando las reglas de actualización bayesianas descritas en el artículo sobre distribuciones a priori conjugadas ), mientras que la distribución predictiva a priori utiliza los valores de los hiperparámetros que aparecen en la distribución a priori.

${\textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow P(E\mid M)>P(E)}$. Es decir, si el modelo fuera cierto, la evidencia sería más probable de lo que predice el estado actual de creencia. Lo contrario se aplica a una disminución de la creencia. Si la creencia no cambia,${\textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow P(E\mid M)=P(E)}$Es decir, la evidencia es independiente del modelo. Si el modelo fuera cierto, la evidencia sería exactamente tan probable como lo predice el estado actual de creencias.

Si${\displaystyle P(M)=0}$entonces${\displaystyle P(M\mid E)=0}$. Si${\displaystyle P(M)=1}$y${\displaystyle P(E)>0}$, entonces${\displaystyle P(M|E)=1}$Esto puede interpretarse en el sentido de que las condenas firmes son insensibles a las pruebas en contra.

La primera se deduce directamente del teorema de Bayes. La segunda se puede derivar aplicando la primera regla al evento "no${\displaystyle M}$"en lugar de"${\displaystyle M}$", produciendo "si${\displaystyle 1-P(M)=0}$, entonces${\displaystyle 1-P(M\mid E)=0}$", del cual se deduce inmediatamente el resultado.

Consideremos el comportamiento de una distribución de creencias a medida que se actualiza un gran número de veces con ensayos independientes e idénticamente distribuidos . Para probabilidades previas suficientemente buenas, el teorema de Bernstein-von Mises establece que, en el límite de ensayos infinitos, la distribución posterior converge a una distribución gaussiana independiente de la distribución previa inicial bajo ciertas condiciones que Joseph L. Doob describió y demostró rigurosamente por primera vez en 1948, a saber, si la variable aleatoria en consideración tiene un espacio de probabilidad finito . Los resultados más generales fueron obtenidos posteriormente por el estadístico David A. Freedman, quien publicó en dos artículos de investigación fundamentales en 1963 ^{[ 13 ]} y 1965 ^{[ 14 ]} cuándo y bajo qué circunstancias se garantiza el comportamiento asintótico de la distribución posterior. Su artículo de 1963 trata, al igual que Doob (1949), el caso finito y llega a una conclusión satisfactoria. Sin embargo, si la variable aleatoria tiene un espacio de probabilidad infinito pero numerable (es decir, correspondiente a un dado con infinitas caras), el artículo de 1965 demuestra que para un subconjunto denso de distribuciones a priori el teorema de Bernstein-von Mises no es aplicable. En este caso, casi con seguridad no hay convergencia asintótica. Más adelante, en las décadas de 1980 y 1990, Freedman y Persi Diaconis continuaron trabajando en el caso de espacios de probabilidad numerables infinitos. ^{[ 15 ]} En resumen, puede haber ensayos insuficientes para suprimir los efectos de la elección inicial, y especialmente para sistemas grandes (pero finitos) la convergencia podría ser muy lenta.

En su forma parametrizada, la distribución a priori suele asumirse que proviene de una familia de distribuciones denominadas distribuciones a priori conjugadas . La utilidad de una distribución a priori conjugada radica en que la distribución a posteriori correspondiente pertenecerá a la misma familia, y el cálculo puede expresarse de forma cerrada .

A menudo se desea utilizar una distribución posterior para estimar un parámetro o variable. Varios métodos de estimación bayesiana seleccionan medidas de tendencia central de la distribución posterior.

Para problemas unidimensionales, existe una mediana única para problemas continuos prácticos. La mediana posterior resulta atractiva como estimador robusto . ^{[ 16 ]}

Si existe una media finita para la distribución posterior, entonces la media posterior es un método de estimación. ^{[ 17 ]}$${\displaystyle {\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta }$$

Tomar el valor con la mayor probabilidad define la estimación a posteriori máxima (MAP): ^{[ 18 ]}$${\displaystyle \{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).}$$

Hay ejemplos en los que no se alcanza ningún máximo, en cuyo caso el conjunto de estimaciones MAP está vacío .

Existen otros métodos de estimación que minimizan el riesgo posterior (pérdida posterior esperada) con respecto a una función de pérdida , y estos son de interés para la teoría de la decisión estadística que utiliza la distribución muestral (estadística frecuentista). ^{[ 19 ]}

La distribución predictiva posterior de una nueva observación${\displaystyle {\tilde {x}}}$(es decir, independiente de observaciones previas) está determinado por ^{[ 20 ]}${\displaystyle p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta }$${\displaystyle =\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .}$

Supongamos que hay dos tazones llenos de galletas. El tazón n.° 1 tiene 10 galletas con chispas de chocolate y 30 galletas simples, mientras que el tazón n.° 2 tiene 20 de cada una. Fred elige un tazón al azar y luego elige una galleta al azar, lo que significa que no hay razón para creer que Fred trate un tazón de manera diferente al otro, y lo mismo ocurre con las galletas. La galleta resulta ser simple. En cuanto a la probabilidad de que Fred la haya elegido del tazón n.° 1, ese es un ejemplo de un problema que se puede abordar mediante inferencia bayesiana.

Intuitivamente, parece claro que la respuesta debería ser más de la mitad, ya que hay más galletas simples en el tazón n.° 1. La respuesta precisa la da el teorema de Bayes. Sea${\displaystyle H_{1}}$corresponde al tazón n.° 1 y${\displaystyle H_{2}}$al tazón n.° 2. Se da por sentado que los tazones son idénticos desde el punto de vista de Fred, por lo tanto${\displaystyle P(H_{1})=P(H_{2})}$y los dos deben sumar 1, por lo que ambos son iguales a 0.5. El evento${\displaystyle E}$es la observación de una galleta simple. Por el contenido de los tazones, se sabe que${\displaystyle P(E\mid H_{1})=30/40=0.75}$y${\displaystyle P(E\mid H_{2})=20/40=0.5.}$La fórmula de Bayes produce entonces ${\displaystyle P(H_{1}\mid E)={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}}$${\displaystyle ={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}=0.6}$

Antes de que se observara la galleta de Fred, la probabilidad de que Fred hubiera elegido el tazón n.° 1 era la probabilidad previa.${\displaystyle P(H_{1})=50\%.}$Al reconocer la cookie, la estimación mejor informada de Fred (o de cualquier observador)${\displaystyle P(H_{1})}$se actualiza a${\displaystyle P(H_{1}\mid E)=60\%.}$

Un arqueólogo trabaja en un yacimiento que se cree data del período medieval, entre los siglos XI y XVI. Sin embargo, se desconoce con exactitud cuándo estuvo habitado. Se han encontrado fragmentos de cerámica, algunos vidriados y otros decorados. Se estima que, si el yacimiento estuvo habitado a principios de la Edad Media, el 1% de la cerámica estaría vidriada y el 50% decorada, mientras que si estuvo habitado a finales de la Edad Media, el 81% estaría vidriada y el 5% decorada. ¿Qué grado de certeza puede tener el arqueólogo sobre la fecha de ocupación a medida que se desentierran los fragmentos?

El grado de creencia en la variable continua${\displaystyle C}$(siglo) debe calcularse, con el conjunto discreto de eventos${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$como evidencia. La información del párrafo anterior arroja $${\displaystyle p_{G}(c)=0.01+{\frac {0.80}{5}}(c-11)}$$ para la probabilidad de glaseado y $${\displaystyle p_{D}(c)=0.5-{\frac {0.45}{5}}(c-11)}$$ para la probabilidad de decoración; sus complementos son $${\displaystyle {\bar {p}}_{G}(c)=1-p_{G}(c),\quad {\bar {p}}_{D}(c)=1-p_{D}(c).}$$ Suponiendo una variación lineal del esmalte y la decoración con el tiempo y que estas variables son independientes, la probabilidad de cada evento es:

Cuando un nuevo fragmento de tipo${\displaystyle e}$Se descubre, lo que significa más información para la investigación y, a través del teorema de Bayes, una inferencia bayesiana actualizada hacia un grado mejorado de creencia (o confianza) en la estimación de los arqueólogos. Suponiendo una distribución a priori uniforme de${\textstyle f_{C}(c)=0.2}$y que los ensayos son independientes e idénticamente distribuidos ,

${\displaystyle f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)}$${\displaystyle ={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c).}$

En el gráfico se muestra una simulación por computadora del cambio de creencias a medida que se desentierran 50 fragmentos. En la simulación, el sitio estuvo habitado alrededor de 1420, o${\displaystyle c=15.2}$Al calcular el área bajo la porción relevante del gráfico para 50 ensayos, el arqueólogo puede decir que prácticamente no hay posibilidad de que el sitio haya estado habitado en los siglos XI y XII, aproximadamente un 1% de probabilidad de que lo estuviera durante el siglo XIII, un 63% durante el siglo XIV y un 36% durante el siglo XV. El teorema de Bernstein-von Mises afirma aquí la convergencia asintótica a la distribución "verdadera" porque el espacio de probabilidad correspondiente al conjunto discreto de eventos${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$es finito (véase la sección anterior sobre el comportamiento asintótico de la distribución posterior).

La metodología bayesiana también desempeña un papel en la selección de modelos, cuyo objetivo es elegir, entre un conjunto de modelos competidores, el que mejor represente el proceso subyacente que generó los datos observados. En la comparación de modelos bayesianos, se selecciona el modelo con la mayor probabilidad posterior dados los datos. La probabilidad posterior de un modelo depende de la evidencia, o verosimilitud marginal , que refleja la probabilidad de que los datos sean generados por el modelo, y de la creencia previa sobre el modelo. Cuando dos modelos competidores se consideran a priori equiprobables, la razón de sus probabilidades posteriores corresponde al factor de Bayes . Dado que la comparación de modelos bayesianos busca seleccionar el modelo con la mayor probabilidad posterior, esta metodología también se conoce como regla de selección de máxima probabilidad a posteriori (MAP) ^{[ 29 ]} o regla de probabilidad MAP ^{[ 30 ] .}

Consulte la entrada independiente de Wikipedia sobre estadística bayesiana , específicamente la sección de modelado estadístico en esa página.

La inferencia bayesiana tiene aplicaciones en inteligencia artificial y sistemas expertos . Las técnicas de inferencia bayesiana han sido una parte fundamental de las técnicas de reconocimiento de patrones computarizados desde finales de la década de 1950. ^{[ 34 ]} También existe una conexión cada vez mayor entre los métodos bayesianos y las técnicas de Monte Carlo basadas en simulación , ya que los modelos complejos no pueden procesarse de forma cerrada mediante un análisis bayesiano, mientras que una estructura de modelo gráfico puede permitir algoritmos de simulación eficientes como el muestreo de Gibbs y otros esquemas del algoritmo de Metropolis-Hastings . ^{[ 35 ]} Recientemente, la inferencia bayesiana ha ganado popularidad entre la comunidad filogenética por estas razones; varias aplicaciones permiten estimar simultáneamente muchos parámetros demográficos y evolutivos.

Aplicada a la clasificación estadística , la inferencia bayesiana se ha utilizado para desarrollar algoritmos de identificación de correo no deseado . Algunas aplicaciones que emplean la inferencia bayesiana para el filtrado de spam son CRM114 , DSPAM , Bogofilter , SpamAssassin , SpamBayes , Mozilla , XEAMS y otras. La clasificación de spam se trata con mayor detalle en el artículo sobre el clasificador bayesiano ingenuo .

La inferencia inductiva de Solomonoff es la teoría de la predicción basada en observaciones; por ejemplo, predecir el siguiente símbolo a partir de una serie de símbolos dada. El único supuesto es que el entorno sigue alguna distribución de probabilidad desconocida pero computable . Es un marco inductivo formal que combina dos principios bien estudiados de la inferencia inductiva: la estadística bayesiana y la navaja de Occam . ^{[ 36 ]} La probabilidad a priori universal de Solomonoff para cualquier prefijo p de una secuencia computable x es la suma de las probabilidades de todos los programas (para una computadora universal) que computan algo que comienza con p . Dado algún p y cualquier distribución de probabilidad computable pero desconocida de la que se muestrea x , la probabilidad a priori universal y el teorema de Bayes se pueden usar para predecir las partes aún no vistas de x de manera óptima. ^{[ 37 ] [ 38 ]}

La inferencia bayesiana se ha aplicado en diferentes aplicaciones bioinformáticas , incluido el análisis de expresión génica diferencial. ^{[ 39 ]} La inferencia bayesiana también se utiliza en un modelo general de riesgo de cáncer, llamado CIRI (Índice de Riesgo Individualizado Continuo), donde se incorporan mediciones en serie para actualizar un modelo bayesiano que se construye principalmente a partir del conocimiento previo. ^{[ 40 ] [ 41 ]}

El enfoque bayesiano ha sido fundamental para los avances recientes en cosmología y aplicaciones astrofísicas, ^{[ 42 ] [ 43 ]} y se extiende a una amplia gama de problemas astrofísicos, incluyendo la caracterización de exoplanetas (como el ajuste de la atmósfera para k2-18b ^{[ 44 ]} ), restricciones de parámetros con datos cosmológicos, ^{[ 45 ]} y calibración en experimentos astrofísicos. ^{[ 46 ]}

En cosmología, se emplea frecuentemente con técnicas computacionales como la cadena de Markov Monte Carlo (MCMC) y el algoritmo de muestreo anidado para analizar conjuntos de datos complejos y navegar por el espacio de parámetros de alta dimensión. Una aplicación notable es a los datos CMB de Planck 2018 para la inferencia de parámetros. ^{[ 45 ]} Los seis parámetros cosmológicos base en el modelo Lambda-CDM no son predichos por una teoría, sino que se ajustan a partir de datos del fondo cósmico de microondas (CMB) a un modelo cosmológico elegido (el modelo Lambda-CDM). ^{[ 47 ]} El código bayesiano para cosmología `cobaya` ^{[ 48 ]} configura ejecuciones cosmológicas e interfaces de probabilidades cosmológicas, código de Boltzmann, ^{[ 49 ] [ 50 ]} que calcula las anisotropías CMB predichas para cualquier conjunto dado de parámetros cosmológicos, con MCMC o muestreador anidado.

Este marco computacional no se limita al modelo estándar, sino que también es esencial para probar teorías cosmológicas alternativas o extendidas, como las teorías con energía oscura temprana ^{[ 51 ]} o las teorías de gravedad modificada que introducen parámetros adicionales más allá del modelo Lambda-CDM. La comparación bayesiana de modelos puede emplearse para calcular la evidencia a favor de modelos alternativos, proporcionando una base estadística para evaluar si los datos los respaldan frente al modelo Lambda-CDM estándar ^{[ 52 ] .}

La inferencia bayesiana puede ser utilizada por los jurados para acumular de manera coherente la evidencia a favor y en contra de un acusado, y para ver si, en su totalidad, cumple con su umbral personal de " más allá de toda duda razonable ". ^{[ 53 ] [ 54 ] [ 55 ]} El teorema de Bayes se aplica sucesivamente a toda la evidencia presentada, y la distribución posterior de una etapa se convierte en la distribución previa para la siguiente. El beneficio de un enfoque bayesiano es que proporciona al jurado un mecanismo racional e imparcial para combinar la evidencia. Puede ser apropiado explicar el teorema de Bayes a los jurados en forma de probabilidades , ya que las probabilidades de apuestas se comprenden más ampliamente que las probabilidades. Alternativamente, un enfoque logarítmico , reemplazando la multiplicación por la suma, podría ser más fácil de manejar para un jurado.

Si no hay dudas sobre la existencia del delito, sino solo sobre la identidad del culpable, se ha sugerido que la probabilidad a priori debe ser uniforme en toda la población que califica. ^{[ 56 ]} Por ejemplo, si 1000 personas pudieran haber cometido el delito, la probabilidad a priori de culpabilidad sería de 1/1000.

El uso del teorema de Bayes por parte de los jurados es controvertido. En el Reino Unido, un perito de la defensa explicó el teorema de Bayes al jurado en el caso R v Adams . El jurado dictó sentencia condenatoria, pero el caso fue apelado alegando que no se habían proporcionado medios para recopilar pruebas a los jurados que no deseaban utilizar el teorema de Bayes. El Tribunal de Apelación confirmó la condena, pero también opinó que «introducir el teorema de Bayes, o cualquier método similar, en un juicio penal sumerge al jurado en ámbitos teóricos y complejos inapropiados e innecesarios, desviándolo de su tarea principal».

Gardner-Medwin ^{[ 57 ]} sostiene que el criterio en el que debe basarse un veredicto en un juicio penal no es la probabilidad de culpabilidad, sino la probabilidad de la evidencia, dado que el acusado es inocente (similar a un valor p frecuentista ). Argumenta que si se va a calcular la probabilidad posterior de culpabilidad mediante el teorema de Bayes, se debe conocer la probabilidad previa de culpabilidad. Esto dependerá de la incidencia del delito, que es una evidencia poco común en un juicio penal. Consideremos las siguientes tres proposiciones:

A – Los hechos y testimonios conocidos podrían haber surgido si el acusado es culpable.

B – Los hechos y testimonios conocidos podrían haber surgido si el acusado es inocente.

C – El acusado es culpable.

Gardner-Medwin sostiene que el jurado debe creer tanto A como no B para poder condenar. Que A y no B implique la veracidad de C , pero lo contrario no es cierto. Es posible que B y C sean ambas verdaderas, pero en este caso argumenta que un jurado debería absolver, aun sabiendo que dejará en libertad a algunos culpables. Véase también la paradoja de Lindley .

La epistemología bayesiana es un movimiento que aboga por la inferencia bayesiana como medio para justificar las reglas de la lógica inductiva.

Karl Popper y David Miller han rechazado la idea del racionalismo bayesiano, es decir, el uso de la regla de Bayes para hacer inferencias epistemológicas: ^{[ 58 ]} Es propenso al mismo círculo vicioso que cualquier otra epistemología justificacionista , porque presupone lo que intenta justificar. Según esta visión, una interpretación racional de la inferencia bayesiana la vería simplemente como una versión probabilística de la falsación , rechazando la creencia, comúnmente sostenida por los bayesianos, de que la alta probabilidad alcanzada por una serie de actualizaciones bayesianas probaría la hipótesis más allá de toda duda razonable, o incluso con una probabilidad mayor que 0.

• El método científico se interpreta a veces como una aplicación de la inferencia bayesiana. Desde esta perspectiva, la regla de Bayes guía (o debería guiar) la actualización de las probabilidades sobre hipótesis condicionadas a nuevas observaciones o experimentos . ^{[ 59 ]} La inferencia bayesiana también se ha aplicado para tratar problemas de programación estocástica con información incompleta por Cai et al. (2009). ^{[ 60 ]}
• La teoría de búsqueda bayesiana se utiliza para buscar objetos perdidos.
• Inferencia bayesiana en filogenia
• Herramienta bayesiana para el análisis de metilación
• Los enfoques bayesianos del funcionamiento cerebral investigan el cerebro como un mecanismo bayesiano.
• Inferencia bayesiana en estudios ecológicos ^{[ 61 ] [ 62 ]}
• La inferencia bayesiana se utiliza para estimar parámetros en modelos cinéticos químicos estocásticos ^{[ 63 ].}
• Inferencia bayesiana en econofísica para divisas o predicción de cambios de tendencia en cotizaciones financieras ^{[ 64 ]}
• Inferencia bayesiana en marketing
• Inferencia bayesiana en el aprendizaje motor
• La inferencia bayesiana se utiliza en la estadística probabilística para resolver problemas numéricos.

Los siguientes libros se enumeran en orden ascendente de sofisticación probabilística:

• Stone, JV (2013), "La regla de Bayes: una introducción tutorial al análisis bayesiano", "Descargar el primer capítulo aquí" . Archivado del original el 22 de julio de 2015., Sebtel Press, Inglaterra.
• Dennis V. Lindley (2013). Comprender la incertidumbre, edición revisada (2.ª  ed.). John Wiley. ISBN 978-1-118-65012-7.
• Colin Howson y Peter Urbach (2005). Razonamiento científico: El enfoque bayesiano (3.ª  ed.). Open Court Publishing Company . ISBN 978-0-8126-9578-6.
• Berry, Donald A. (1996). Estadística: Una perspectiva bayesiana . Duxbury. ISBN 978-0-534-23476-8.
• Morris H. DeGroot y Mark J. Schervish (2002). Probabilidad y estadística (tercera  ed.). Addison-Wesley. ISBN 978-0-201-52488-8.
• Bolstad, William M. (2007) Introducción a la estadística bayesiana : Segunda edición, John Wiley ISBN 0-471-27020-2
• Winkler, Robert L (2003). Introducción a la inferencia y decisión bayesiana (2.ª  ed.). Probabilistic. ISBN 978-0-9647938-4-2.Libro de texto clásico actualizado. La teoría bayesiana se presenta de forma clara.
• Lee, Peter M. Estadística bayesiana: una introducción . Cuarta edición (2012), John Wiley ISBN 978-1-1183-3257-3
• Carlin, Bradley P. y Louis, Thomas A. (2008). Métodos bayesianos para el análisis de datos, tercera edición . Boca Raton, FL: Chapman and Hall/CRC. ISBN 978-1-58488-697-6.
• Gelman, Andrew ; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Análisis de datos bayesianos, tercera edición . Chapman and Hall/CRC. ISBN 978-1-4398-4095-5.

• Berger, James O (1985). Teoría de la decisión estadística y análisis bayesiano . Springer Series in Statistics (Segunda  ed.). Springer-Verlag. Bibcode : 1985sdtb.book.....B . ISBN 978-0-387-96098-2.
• Bernardo, José  M. ; Smith, Adrian  F.  M. (1994). Teoría bayesiana . Wiley.
• DeGroot, Morris H. , Decisiones estadísticas óptimas . Wiley Classics Library. 2004. (Publicado originalmente (1970) por McGraw-Hill.) ISBN 0-471-68029-X.
• Schervish, Mark J. (1995). Teoría de la estadística . Springer-Verlag. ISBN 978-0-387-94546-0.
• Jaynes, ET (1998). Teoría de la probabilidad: La lógica de la ciencia .
• O'Hagan, A. y Forster, J. (2003). Teoría avanzada de la estadística de Kendall , Volumen 2B: Inferencia bayesiana . Arnold, Nueva York. ISBN 0-340-52922-9.
• Robert, Christian P (2007). La elección bayesiana: desde los fundamentos de la teoría de la decisión hasta la implementación computacional (  edición de bolsillo). Springer. ISBN 978-0-387-71598-8.
• Pearl, Judea . (1988). Razonamiento probabilístico en sistemas inteligentes: redes de inferencia plausible , San Mateo, CA: Morgan Kaufmann.
• Pierre Bessière et al. (2013). " Programación Bayesiana ". Prensa CRC. ISBN 9781439880326
• Francisco J. Samaniego (2010). "Una comparación de los enfoques bayesiano y frecuentista para la estimación". Springer. Nueva York, ISBN 978-1-4419-5940-9