Inferencia bayesiana

La inferencia bayesiana deriva la probabilidad posterior como consecuencia de dos antecedentes : una probabilidad previa y una " función de verosimilitud " derivada de un modelo estadístico para los datos observados. La inferencia bayesiana calcula la probabilidad posterior según el teorema de Bayes :

$${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},}$$

dónde

• ${\displaystyle H}$Se refiere a cualquier hipótesis cuya probabilidad pueda verse afectada por los datos (denominados evidencia más adelante). A menudo existen hipótesis contrapuestas, y la tarea consiste en determinar cuál es la más probable.
• ${\displaystyle P(H)}$, la probabilidad previa , es la estimación de la probabilidad de la hipótesis antes de que se observen los datos , la evidencia actual.${\displaystyle H}$${\displaystyle E}$
• ${\displaystyle E}$La evidencia corresponde a nuevos datos que no se utilizaron para calcular la probabilidad previa.
• ${\displaystyle P(H\mid E)}$La probabilidad posterior es la probabilidad de que se dé , es decir, después de que se haya observado . Esto es lo que queremos saber: la probabilidad de una hipótesis dada la evidencia observada.${\displaystyle H}$${\displaystyle E}$${\displaystyle E}$
• ${\displaystyle P(E\mid H)}$es la probabilidad de observar dado y se llama verosimilitud . Como función de con fijo, indica la compatibilidad de la evidencia con la hipótesis dada. La función de verosimilitud es una función de la evidencia, , mientras que la probabilidad posterior es una función de la hipótesis, .${\displaystyle E}$${\displaystyle H}$${\displaystyle E}$${\displaystyle H}$${\displaystyle E}$${\displaystyle H}$
• ${\displaystyle P(E)}$A veces se le denomina probabilidad marginal o "evidencia del modelo". Este factor es el mismo para todas las hipótesis posibles que se estén considerando (como se evidencia en el hecho de que la hipótesis no aparece en ninguna parte del símbolo, a diferencia de todos los demás factores) y, por lo tanto, no influye en la determinación de las probabilidades relativas de las diferentes hipótesis.${\displaystyle H}$
• ${\displaystyle P(E)>0}$(De lo contrario, uno tiene .)${\displaystyle 0/0}$

Para diferentes valores de , solo los factores y , ambos en el numerador, afectan el valor de – la probabilidad posterior de una hipótesis es proporcional a su probabilidad previa (su probabilidad inherente) y a la probabilidad recién adquirida (su compatibilidad con la nueva evidencia observada).${\displaystyle H}$${\displaystyle P(H)}$${\displaystyle P(E\mid H)}$${\displaystyle P(H\mid E)}$ 

En los casos en que ("no "), la negación lógica de , es una probabilidad válida, la regla de Bayes se puede reescribir de la siguiente manera:${\displaystyle \neg H}$${\displaystyle H}$${\displaystyle H}$

$${\displaystyle {\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}}$$

porque

$${\displaystyle P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}$$

y

$${\displaystyle P(H)+P(\neg H)=1.}$$

Esto centra la atención en el término

$${\displaystyle \left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.}$$

Si ese término es aproximadamente 1, entonces la probabilidad de la hipótesis dada la evidencia, , es aproximadamente , aproximadamente 50% probable, es decir, igualmente probable o no probable. Si ese término es muy pequeño, cercano a cero, entonces la probabilidad de la hipótesis, dada la evidencia, es cercana a 1 o la hipótesis condicional es bastante probable. Si ese término es muy grande, mucho mayor que 1, entonces la hipótesis, dada la evidencia, es bastante improbable. Si la hipótesis (sin considerar la evidencia) es improbable, entonces es pequeño (pero no necesariamente astronómicamente pequeño) y es mucho mayor que 1 y este término se puede aproximar como y las probabilidades relevantes se pueden comparar directamente entre sí.${\displaystyle P(H\mid E)}$${\displaystyle {\tfrac {1}{2}}}$${\displaystyle P(H\mid E)}$${\displaystyle P(H)}$${\displaystyle {\tfrac {1}{P(H)}}}$${\displaystyle {\tfrac {P(E\mid \neg H)}{P(E\mid H)\cdot P(H)}}}$

Una forma rápida y sencilla de recordar la ecuación sería usar la regla de la multiplicación :

$${\displaystyle P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).}$$

La actualización bayesiana es ampliamente utilizada y computacionalmente conveniente. Sin embargo, no es la única regla de actualización que podría considerarse racional.

Ian Hacking señaló que los argumentos tradicionales del " libro holandés " no especificaban la actualización bayesiana: dejaban abierta la posibilidad de que las reglas de actualización no bayesianas pudieran evitar los libros holandeses. Hacking escribió: ^{[ 3 ]} "Y ni el argumento del libro holandés ni ningún otro en el arsenal personalista de pruebas de los axiomas de probabilidad implican la suposición dinámica. Ninguno implica el bayesianismo. Por lo tanto, el personalista requiere que la suposición dinámica sea bayesiana. Es cierto que, en coherencia, un personalista podría abandonar el modelo bayesiano de aprendizaje a partir de la experiencia. La sal podría perder su sabor."

De hecho, existen reglas de actualización no bayesianas que también evitan los libros holandeses (como se discute en la literatura sobre " cinemática de la probabilidad ") tras la publicación de la regla de Richard C. Jeffrey , que aplica la regla de Bayes al caso en que a la evidencia misma se le asigna una probabilidad. ^{[ 4 ]} Las hipótesis adicionales necesarias para requerir de forma única la actualización bayesiana se han considerado sustanciales, complicadas e insatisfactorias. ^{[ 5 ]}

Supongamos que un proceso genera eventos independientes e idénticamente distribuidos , pero se desconoce la distribución de probabilidad . Sea el espacio de eventos el estado actual de creencia para este proceso. Cada modelo está representado por el evento . Se especifican las probabilidades condicionales para definir los modelos. es el grado de creencia en . Antes del primer paso de inferencia, es un conjunto de probabilidades previas iniciales . Estas deben sumar 1, pero por lo demás son arbitrarias.${\displaystyle E_{n},\ n=1,2,3,\ldots }$${\displaystyle \Omega }$${\displaystyle M_{m}}$${\displaystyle P(E_{n}\mid M_{m})}$${\displaystyle P(M_{m})}$${\displaystyle M_{m}}$${\displaystyle \{P(M_{m})\}}$

Supongamos que se observa que el proceso genera . Para cada , la distribución a priori se actualiza a la distribución a posteriori . Del teorema de Bayes : ^{[ 6 ]}${\displaystyle E\in \{E_{n}\}}$${\displaystyle M\in \{M_{m}\}}$${\displaystyle P(M)}$${\displaystyle P(M\mid E)}$

$${\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).}$$

Tras observar nuevas pruebas, este procedimiento podrá repetirse.

Para una secuencia de observaciones independientes e idénticamente distribuidas , se puede demostrar por inducción que la aplicación repetida de lo anterior es equivalente a donde ${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$$${\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),}$$$${\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}$$

Al parametrizar el espacio de modelos, la creencia en todos ellos puede actualizarse en un solo paso. La distribución de la creencia sobre el espacio de modelos puede considerarse entonces como una distribución de la creencia sobre el espacio de parámetros. Las distribuciones en esta sección se expresan como continuas, representadas por densidades de probabilidad, como es habitual. Sin embargo, la técnica es igualmente aplicable a distribuciones discretas.

Sea el vector que abarca el espacio de parámetros. Sea la distribución previa inicial sobre , donde es un conjunto de parámetros de la distribución previa misma, o hiperparámetros . Sea una secuencia de observaciones de eventos independientes e idénticamente distribuidas , donde todas se distribuyen como para algún . El teorema de Bayes se aplica para encontrar la distribución posterior sobre :${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})}$${\displaystyle {\boldsymbol {\alpha }}}$${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$${\displaystyle e_{i}}$${\displaystyle p(e\mid {\boldsymbol {\theta }})}$${\displaystyle {\boldsymbol {\theta }}}$${\displaystyle {\boldsymbol {\theta }}}$

$${\displaystyle {\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}}$$ dónde $${\displaystyle p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).}$$

• ${\displaystyle x}$, un punto de datos en general. Esto puede ser un vector de valores.
• ${\displaystyle \theta }$, el parámetro de la distribución del punto de datos, es decir, . Esto puede ser un vector de parámetros.${\displaystyle x\sim p(x\mid \theta )}$
• ${\displaystyle \alpha }$, el hiperparámetro de la distribución de parámetros, es decir, . Esto puede ser un vector de hiperparámetros.${\displaystyle \theta \sim p(\theta \mid \alpha )}$
• ${\displaystyle \mathbf {X} }$es la muestra, un conjunto de puntos de datos observados, es decir, .${\displaystyle n}$${\displaystyle x_{1},\ldots ,x_{n}}$
• ${\displaystyle {\tilde {x}}}$, un nuevo dato cuya distribución debe predecirse.

• La distribución previa es la distribución del/de los parámetro(s) antes de que se observen los datos, es decir , . La distribución previa puede no ser fácil de determinar; en tal caso, una posibilidad puede ser utilizar la distribución previa de Jeffreys para obtener una distribución previa antes de actualizarla con observaciones más recientes.${\displaystyle p(\theta \mid \alpha )}$
• La distribución muestral es la distribución de los datos observados condicionada a sus parámetros, es decir , . Esto también se denomina verosimilitud , especialmente cuando se considera como una función del/de los parámetro(s), a veces escrito .${\displaystyle p(\mathbf {X} \mid \theta )}$${\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )}$
• La probabilidad marginal (a veces también denominada evidencia ) es la distribución de los datos observados marginalizada sobre el/los parámetro(s), es decir, cuantifica la concordancia entre los datos y la opinión del experto, en un sentido geométrico que puede precisarse. ^{[ 7 ]} Si la probabilidad marginal es 0, entonces no hay concordancia entre los datos y la opinión del experto y no se puede aplicar la regla de Bayes.$${\displaystyle p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )d\theta .}$$
• La distribución posterior es la distribución del/de los parámetro(s) después de tener en cuenta los datos observados. Esta se determina mediante la regla de Bayes , que constituye el núcleo de la inferencia bayesiana:

${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}}$${\displaystyle ={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha ).}$

Esto se expresa en palabras como "la probabilidad posterior es proporcional a la probabilidad multiplicada por la probabilidad previa", o a veces como "la probabilidad posterior = probabilidad multiplicada por la probabilidad previa, sobre la evidencia".

• En la práctica, para casi todos los modelos bayesianos complejos utilizados en el aprendizaje automático, la distribución posterior no se obtiene en forma cerrada, principalmente porque el espacio de parámetros puede ser muy amplio o porque el modelo bayesiano conserva cierta estructura jerárquica formulada a partir de las observaciones y el parámetro . En tales situaciones, es necesario recurrir a técnicas de aproximación. ^{[ 8 ]}${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )}$${\displaystyle \theta }$${\displaystyle \mathbf {X} }$${\displaystyle \theta }$
• Caso general: Sea la distribución condicional de dado y sea la distribución de . La distribución conjunta es entonces . La distribución condicional de dado se determina entonces por${\displaystyle P_{Y}^{x}}$${\displaystyle Y}$${\displaystyle X=x}$${\displaystyle P_{X}}$${\displaystyle X}$${\displaystyle P_{X,Y}(dx,dy)=P_{Y}^{x}(dy)P_{X}(dx)}$${\displaystyle P_{X}^{y}}$${\displaystyle X}$${\displaystyle Y=y}$

$${\displaystyle P_{X}^{y}(A)=E(1_{A}(X)|Y=y)}$$Existence and uniqueness of the needed conditional expectation is a consequence of the Radon–Nikodym theorem. This was formulated by Kolmogorov in his famous book from 1933. Kolmogorov underlines the importance of conditional probability by writing "I wish to call attention to ... and especially the theory of conditional probabilities and conditional expectations ..." in the Preface.^[9] The Bayes theorem determines the posterior distribution from the prior distribution. Uniqueness requires continuity assumptions.^[10] Bayes' theorem can be generalized to include improper prior distributions such as the uniform distribution on the real line.^[11] Modern Markov chain Monte Carlo methods have boosted the importance of Bayes' theorem including cases with improper priors.^[12]

• The posterior predictive distribution is the distribution of a new data point, marginalized over the posterior: $${\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )d\theta }$$
• The prior predictive distribution is the distribution of a new data point, marginalized over the prior: $${\displaystyle p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )d\theta }$$

Bayesian theory calls for the use of the posterior predictive distribution to do predictive inference, i.e., to predict the distribution of a new, unobserved data point. That is, instead of a fixed point as a prediction, a distribution over possible points is returned. Only this way is the entire posterior distribution of the parameter(s) used. By comparison, prediction in frequentist statistics often involves finding an optimum point estimate of the parameter(s)—e.g., by maximum likelihood or maximum a posteriori estimation (MAP)—and then plugging this estimate into the formula for the distribution of a data point. This has the disadvantage that it does not account for any uncertainty in the value of the parameter, and hence will underestimate the variance of the predictive distribution.

En algunos casos, la estadística frecuentista puede sortear este problema. Por ejemplo, los intervalos de confianza y de predicción en estadística frecuentista, cuando se construyen a partir de una distribución normal con media y varianza desconocidas, se construyen utilizando una distribución t de Student . Esto estima correctamente la varianza, debido a que (1)  la media de variables aleatorias con distribución normal también tiene una distribución normal, y (2) la distribución predictiva de un dato con distribución normal, media y varianza desconocidas, utilizando distribuciones a priori conjugadas o no informativas, tiene una distribución t de Student. Sin embargo, en estadística bayesiana, la distribución predictiva posterior siempre se puede determinar con exactitud, o al menos con un nivel de precisión arbitrario cuando se utilizan métodos numéricos.

Ambos tipos de distribuciones predictivas tienen la forma de una distribución de probabilidad compuesta (al igual que la verosimilitud marginal ). De hecho, si la distribución a priori es una distribución a priori conjugada , de modo que las distribuciones a priori y a posteriori pertenecen a la misma familia, se puede observar que ambas distribuciones predictivas, a priori y a posteriori, también pertenecen a la misma familia de distribuciones compuestas. La única diferencia radica en que la distribución predictiva a posteriori utiliza los valores actualizados de los hiperparámetros (aplicando las reglas de actualización bayesianas descritas en el artículo sobre distribuciones a priori conjugadas ), mientras que la distribución predictiva a priori utiliza los valores de los hiperparámetros que aparecen en la distribución a priori.

${\textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow P(E\mid M)>P(E)}$Es decir, si el modelo fuera cierto, la evidencia sería más probable de lo que predice el estado actual de creencia. Lo contrario ocurre cuando la creencia disminuye. Si la creencia no cambia , la evidencia es independiente del modelo. Si el modelo fuera cierto, la evidencia sería exactamente tan probable como predice el estado actual de creencia.${\textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow P(E\mid M)=P(E)}$

Si entonces . Si y , entonces . Esto puede interpretarse como que las condenas firmes son insensibles a las pruebas en contra.${\displaystyle P(M)=0}$${\displaystyle P(M\mid E)=0}$${\displaystyle P(M)=1}$${\displaystyle P(E)>0}$${\displaystyle P(M|E)=1}$

La primera se deduce directamente del teorema de Bayes. La segunda se puede derivar aplicando la primera regla al evento "no " en lugar de " ", obteniendo "si , entonces ", de donde se deduce inmediatamente el resultado.${\displaystyle M}$${\displaystyle M}$${\displaystyle 1-P(M)=0}$${\displaystyle 1-P(M\mid E)=0}$

Consideremos el comportamiento de una distribución de creencias a medida que se actualiza un gran número de veces con ensayos independientes e idénticamente distribuidos . Para probabilidades previas suficientemente buenas, el teorema de Bernstein-von Mises establece que, en el límite de ensayos infinitos, la distribución posterior converge a una distribución gaussiana independiente de la distribución previa inicial bajo ciertas condiciones que Joseph L. Doob describió y demostró rigurosamente por primera vez en 1948, a saber, si la variable aleatoria en consideración tiene un espacio de probabilidad finito . Los resultados más generales fueron obtenidos posteriormente por el estadístico David A. Freedman, quien publicó en dos artículos de investigación fundamentales en 1963 ^{[ 13 ]} y 1965 ^{[ 14 ]} cuándo y bajo qué circunstancias se garantiza el comportamiento asintótico de la distribución posterior. Su artículo de 1963 trata, al igual que Doob (1949), el caso finito y llega a una conclusión satisfactoria. Sin embargo, si la variable aleatoria tiene un espacio de probabilidad infinito pero numerable (es decir, correspondiente a un dado con infinitas caras), el artículo de 1965 demuestra que para un subconjunto denso de distribuciones a priori el teorema de Bernstein-von Mises no es aplicable. En este caso, casi con seguridad no hay convergencia asintótica. Más adelante, en las décadas de 1980 y 1990, Freedman y Persi Diaconis continuaron trabajando en el caso de espacios de probabilidad numerables infinitos. ^{[ 15 ]} En resumen, puede haber ensayos insuficientes para suprimir los efectos de la elección inicial, y especialmente para sistemas grandes (pero finitos) la convergencia podría ser muy lenta.

En su forma parametrizada, la distribución a priori suele asumirse que proviene de una familia de distribuciones denominadas distribuciones a priori conjugadas . La utilidad de una distribución a priori conjugada radica en que la distribución a posteriori correspondiente pertenecerá a la misma familia, y el cálculo puede expresarse de forma cerrada .

A menudo se desea utilizar una distribución posterior para estimar un parámetro o variable. Varios métodos de estimación bayesiana seleccionan medidas de tendencia central de la distribución posterior.

Para problemas unidimensionales, existe una mediana única para problemas continuos prácticos. La mediana posterior resulta atractiva como estimador robusto . ^{[ 16 ]}

Si existe una media finita para la distribución posterior, entonces la media posterior es un método de estimación. ^{[ 17 ]}$${\displaystyle {\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta }$$

Tomar el valor con la mayor probabilidad define la estimación a posteriori máxima (MAP): ^{[ 18 ]}$${\displaystyle \{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).}$$

Hay ejemplos en los que no se alcanza ningún máximo, en cuyo caso el conjunto de estimaciones MAP está vacío .

Existen otros métodos de estimación que minimizan el riesgo posterior (pérdida posterior esperada) con respecto a una función de pérdida , y estos son de interés para la teoría de la decisión estadística que utiliza la distribución muestral (estadística frecuentista). ^{[ 19 ]}

La distribución predictiva posterior de una nueva observación (que es independiente de las observaciones anteriores) está determinada por ^{[ 20 ].}${\displaystyle {\tilde {x}}}$${\displaystyle p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta }$${\displaystyle =\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .}$

Supongamos que hay dos tazones llenos de galletas. El tazón n.° 1 tiene 10 galletas con chispas de chocolate y 30 galletas simples, mientras que el tazón n.° 2 tiene 20 de cada una. Fred elige un tazón al azar y luego elige una galleta al azar, lo que significa que no hay razón para creer que Fred trate un tazón de manera diferente al otro, y lo mismo ocurre con las galletas. La galleta resulta ser simple. En cuanto a la probabilidad de que Fred la haya elegido del tazón n.° 1, ese es un ejemplo de un problema que se puede abordar mediante inferencia bayesiana.

Intuitivamente, parece claro que la respuesta debería ser más de la mitad, ya que hay más galletas simples en el tazón n.° 1. La respuesta precisa la proporciona el teorema de Bayes. Sea que corresponda al tazón n.° 1 y al tazón n.° 2. Se sabe que los tazones son idénticos desde el punto de vista de Fred, por lo tanto , y ambos deben sumar 1, así que ambos son iguales a 0,5. El evento es la observación de una galleta simple. A partir del contenido de los tazones, se sabe que y la fórmula de Bayes produce entonces ${\displaystyle H_{1}}$${\displaystyle H_{2}}$${\displaystyle P(H_{1})=P(H_{2})}$${\displaystyle E}$${\displaystyle P(E\mid H_{1})=30/40=0.75}$${\displaystyle P(E\mid H_{2})=20/40=0.5.}$${\displaystyle P(H_{1}\mid E)={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}}$${\displaystyle ={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}=0.6}$

Antes de que se observe la galleta de Fred, la probabilidad de que Fred haya elegido el tazón n.° 1 era la probabilidad previa Al reconocer la galleta, la estimación mejor informada de Fred (de cualquier observador) se actualiza a${\displaystyle P(H_{1})=50\%.}$${\displaystyle P(H_{1})}$${\displaystyle P(H_{1}\mid E)=60\%.}$

Un arqueólogo trabaja en un yacimiento que se cree data del período medieval, entre los siglos XI y XVI. Sin embargo, se desconoce con exactitud cuándo estuvo habitado. Se han encontrado fragmentos de cerámica, algunos vidriados y otros decorados. Se estima que, si el yacimiento estuvo habitado a principios de la Edad Media, el 1% de la cerámica estaría vidriada y el 50% decorada, mientras que si estuvo habitado a finales de la Edad Media, el 81% estaría vidriada y el 5% decorada. ¿Qué grado de certeza puede tener el arqueólogo sobre la fecha de ocupación a medida que se desentierran los fragmentos?

Se debe calcular el grado de creencia en la variable continua (siglo), utilizando el conjunto discreto de eventos como evidencia. La información del párrafo anterior arroja para la probabilidad del vidriado y para la probabilidad de la decoración; sus complementos son Suponiendo una variación lineal del vidriado y la decoración con el tiempo y que estas variables son independientes, la probabilidad de cada evento es${\displaystyle C}$${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$$${\displaystyle p_{G}(c)=0.01+{\frac {0.80}{5}}(c-11)}$$$${\displaystyle p_{D}(c)=0.5-{\frac {0.45}{5}}(c-11)}$$$${\displaystyle {\bar {p}}_{G}(c)=1-p_{G}(c),\quad {\bar {p}}_{D}(c)=1-p_{D}(c).}$$

Cuando se descubre un nuevo fragmento de un tipo determinado , eso significa más información para la investigación y, a través del teorema de Bayes, una inferencia bayesiana actualizada hacia un mayor grado de creencia (o confianza) en la estimación de los arqueólogos. Suponiendo una distribución a priori uniforme de , y que los ensayos son independientes e idénticamente distribuidos ,${\displaystyle e}$${\textstyle f_{C}(c)=0.2}$

${\displaystyle f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)}$${\displaystyle ={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c).}$

En el gráfico se muestra una simulación por ordenador del cambio de creencia a medida que se desentierran 50 fragmentos. En la simulación, el yacimiento estuvo habitado alrededor de 1420, o . Al calcular el área bajo la porción relevante del gráfico para 50 ensayos, el arqueólogo puede decir que hay prácticamente ninguna posibilidad de que el yacimiento estuviera habitado en los siglos XI y XII, aproximadamente un 1% de probabilidad de que estuviera habitado durante el siglo XIII, un 63% de probabilidad durante el siglo XIV y un 36% durante el siglo XV. El teorema de Bernstein-von Mises afirma aquí la convergencia asintótica a la distribución "verdadera" porque el espacio de probabilidad correspondiente al conjunto discreto de eventos es finito (véase la sección anterior sobre el comportamiento asintótico de la distribución posterior).${\displaystyle c=15.2}$${\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}}$

Bayesian methodology also plays a role in model selection where the aim is to select one model from a set of competing models that represents most closely the underlying process that generated the observed data. In Bayesian model comparison, the model with the highest posterior probability given the data is selected. The posterior probability of a model depends on the evidence, or marginal likelihood, which reflects the probability that the data is generated by the model, and on the prior belief of the model. When two competing models are a priori considered to be equiprobable, the ratio of their posterior probabilities corresponds to the Bayes factor. Since Bayesian model comparison is aimed on selecting the model with the highest posterior probability, this methodology is also referred to as the maximum a posteriori (MAP) selection rule ^[29] or the MAP probability rule.^[30]

See the separate Wikipedia entry on Bayesian statistics, specifically the statistical modeling section in that page.

Bayesian inference has applications in artificial intelligence and expert systems. Bayesian inference techniques have been a fundamental part of computerized pattern recognition techniques since the late 1950s.^[34] There is also an ever-growing connection between Bayesian methods and simulation-based Monte Carlo techniques since complex models cannot be processed in closed form by a Bayesian analysis, while a graphical model structure may allow for efficient simulation algorithms like the Gibbs sampling and other Metropolis–Hastings algorithm schemes.^[35] Recently Bayesian inference has gained popularity among the phylogenetics community for these reasons; a number of applications allow many demographic and evolutionary parameters to be estimated simultaneously.

Aplicada a la clasificación estadística , la inferencia bayesiana se ha utilizado para desarrollar algoritmos de identificación de correo no deseado . Algunas aplicaciones que emplean la inferencia bayesiana para el filtrado de spam son CRM114 , DSPAM , Bogofilter , SpamAssassin , SpamBayes , Mozilla , XEAMS y otras. La clasificación de spam se trata con mayor detalle en el artículo sobre el clasificador bayesiano ingenuo .

La inferencia inductiva de Solomonoff es la teoría de la predicción basada en observaciones; por ejemplo, predecir el siguiente símbolo a partir de una serie de símbolos dada. El único supuesto es que el entorno sigue alguna distribución de probabilidad desconocida pero computable . Es un marco inductivo formal que combina dos principios bien estudiados de la inferencia inductiva: la estadística bayesiana y la navaja de Occam . ^{[ 36 ]} La probabilidad a priori universal de Solomonoff para cualquier prefijo p de una secuencia computable x es la suma de las probabilidades de todos los programas (para una computadora universal) que computan algo que comienza con p . Dado algún p y cualquier distribución de probabilidad computable pero desconocida de la que se muestrea x , la probabilidad a priori universal y el teorema de Bayes se pueden usar para predecir las partes aún no vistas de x de manera óptima. ^{[ 37 ] [ 38 ]}

La inferencia bayesiana se ha aplicado en diferentes aplicaciones bioinformáticas , incluido el análisis de expresión génica diferencial. ^{[ 39 ]} La inferencia bayesiana también se utiliza en un modelo general de riesgo de cáncer, llamado CIRI (Índice de Riesgo Individualizado Continuo), donde se incorporan mediciones en serie para actualizar un modelo bayesiano que se construye principalmente a partir del conocimiento previo. ^{[ 40 ] [ 41 ]}

El enfoque bayesiano ha sido fundamental para los avances recientes en cosmología y aplicaciones astrofísicas, ^{[ 42 ] [ 43 ]} y se extiende a una amplia gama de problemas astrofísicos, incluyendo la caracterización de exoplanetas (como el ajuste de la atmósfera para k2-18b ^{[ 44 ]} ), restricciones de parámetros con datos cosmológicos, ^{[ 45 ]} y calibración en experimentos astrofísicos. ^{[ 46 ]}

En cosmología, se emplea frecuentemente con técnicas computacionales como la cadena de Markov Monte Carlo (MCMC) y el algoritmo de muestreo anidado para analizar conjuntos de datos complejos y navegar por el espacio de parámetros de alta dimensión. Una aplicación notable es a los datos CMB de Planck 2018 para la inferencia de parámetros. ^{[ 45 ]} Los seis parámetros cosmológicos base en el modelo Lambda-CDM no son predichos por una teoría, sino que se ajustan a partir de datos del fondo cósmico de microondas (CMB) a un modelo cosmológico elegido (el modelo Lambda-CDM). ^{[ 47 ]} El código bayesiano para cosmología `cobaya` ^{[ 48 ]} configura ejecuciones cosmológicas e interfaces de probabilidades cosmológicas, código de Boltzmann, ^{[ 49 ] [ 50 ]} que calcula las anisotropías CMB predichas para cualquier conjunto dado de parámetros cosmológicos, con MCMC o muestreador anidado.

Este marco computacional no se limita al modelo estándar, sino que también es esencial para probar teorías cosmológicas alternativas o extendidas, como las teorías con energía oscura temprana ^{[ 51 ]} o las teorías de gravedad modificada que introducen parámetros adicionales más allá del modelo Lambda-CDM. La comparación bayesiana de modelos puede emplearse para calcular la evidencia a favor de modelos alternativos, proporcionando una base estadística para evaluar si los datos los respaldan frente al modelo Lambda-CDM estándar ^{[ 52 ] .}

La inferencia bayesiana puede ser utilizada por los jurados para acumular de manera coherente la evidencia a favor y en contra de un acusado, y para ver si, en su totalidad, cumple con su umbral personal de " más allá de toda duda razonable ". ^{[ 53 ] [ 54 ] [ 55 ]} El teorema de Bayes se aplica sucesivamente a toda la evidencia presentada, y la distribución posterior de una etapa se convierte en la distribución previa para la siguiente. El beneficio de un enfoque bayesiano es que proporciona al jurado un mecanismo racional e imparcial para combinar la evidencia. Puede ser apropiado explicar el teorema de Bayes a los jurados en forma de probabilidades , ya que las probabilidades de apuestas se comprenden más ampliamente que las probabilidades. Alternativamente, un enfoque logarítmico , reemplazando la multiplicación por la suma, podría ser más fácil de manejar para un jurado.

Si no hay dudas sobre la existencia del delito, sino solo sobre la identidad del culpable, se ha sugerido que la probabilidad a priori debe ser uniforme en toda la población que califica. ^{[ 56 ]} Por ejemplo, si 1000 personas pudieran haber cometido el delito, la probabilidad a priori de culpabilidad sería de 1/1000.

El uso del teorema de Bayes por parte de los jurados es controvertido. En el Reino Unido, un perito de la defensa explicó el teorema de Bayes al jurado en el caso R v Adams . El jurado dictó sentencia condenatoria, pero el caso fue apelado alegando que no se habían proporcionado medios para recopilar pruebas a los jurados que no deseaban utilizar el teorema de Bayes. El Tribunal de Apelación confirmó la condena, pero también opinó que «introducir el teorema de Bayes, o cualquier método similar, en un juicio penal sumerge al jurado en ámbitos teóricos y complejos inapropiados e innecesarios, desviándolo de su tarea principal».

Gardner-Medwin ^{[ 57 ]} sostiene que el criterio en el que debe basarse un veredicto en un juicio penal no es la probabilidad de culpabilidad, sino la probabilidad de la evidencia, dado que el acusado es inocente (similar a un valor p frecuentista ). Argumenta que si se va a calcular la probabilidad posterior de culpabilidad mediante el teorema de Bayes, se debe conocer la probabilidad previa de culpabilidad. Esto dependerá de la incidencia del delito, que es una evidencia poco común en un juicio penal. Consideremos las siguientes tres proposiciones:

A – Los hechos y testimonios conocidos podrían haber surgido si el acusado es culpable.

B – Los hechos y testimonios conocidos podrían haber surgido si el acusado es inocente.

C – El acusado es culpable.

Gardner-Medwin sostiene que el jurado debe creer tanto A como no B para poder condenar. Que A y no B implique la veracidad de C , pero lo contrario no es cierto. Es posible que B y C sean ambas verdaderas, pero en este caso argumenta que un jurado debería absolver, aun sabiendo que dejará en libertad a algunos culpables. Véase también la paradoja de Lindley .

La epistemología bayesiana es un movimiento que aboga por la inferencia bayesiana como medio para justificar las reglas de la lógica inductiva.

Karl Popper y David Miller han rechazado la idea del racionalismo bayesiano, es decir, el uso de la regla de Bayes para hacer inferencias epistemológicas: ^{[ 58 ]} Es propenso al mismo círculo vicioso que cualquier otra epistemología justificacionista , porque presupone lo que intenta justificar. Según esta visión, una interpretación racional de la inferencia bayesiana la vería simplemente como una versión probabilística de la falsación , rechazando la creencia, comúnmente sostenida por los bayesianos, de que la alta probabilidad alcanzada por una serie de actualizaciones bayesianas probaría la hipótesis más allá de toda duda razonable, o incluso con una probabilidad mayor que 0.

• El método científico se interpreta a veces como una aplicación de la inferencia bayesiana. Desde esta perspectiva, la regla de Bayes guía (o debería guiar) la actualización de las probabilidades sobre hipótesis condicionadas a nuevas observaciones o experimentos . ^{[ 59 ]} La inferencia bayesiana también se ha aplicado para tratar problemas de programación estocástica con información incompleta por Cai et al. (2009). ^{[ 60 ]}
• La teoría de búsqueda bayesiana se utiliza para buscar objetos perdidos.
• Inferencia bayesiana en filogenia
• Herramienta bayesiana para el análisis de metilación
• Los enfoques bayesianos del funcionamiento cerebral investigan el cerebro como un mecanismo bayesiano.
• Inferencia bayesiana en estudios ecológicos ^{[ 61 ] [ 62 ]}
• La inferencia bayesiana se utiliza para estimar parámetros en modelos cinéticos químicos estocásticos ^{[ 63 ].}
• Inferencia bayesiana en econofísica para divisas o predicción de cambios de tendencia en cotizaciones financieras ^{[ 64 ]}
• Inferencia bayesiana en marketing
• Inferencia bayesiana en el aprendizaje motor
• La inferencia bayesiana se utiliza en la estadística probabilística para resolver problemas numéricos.

Los siguientes libros se enumeran en orden ascendente de sofisticación probabilística:

• Stone, JV (2013), "La regla de Bayes: una introducción tutorial al análisis bayesiano", Descargue el primer capítulo aquí , Sebtel Press, Inglaterra.
• Dennis V. Lindley (2013). Comprender la incertidumbre, edición revisada (2.ª  ed.). John Wiley. ISBN 978-1-118-65012-7.
• Colin Howson y Peter Urbach (2005). Razonamiento científico: El enfoque bayesiano (3.ª  ed.). Open Court Publishing Company . ISBN 978-0-8126-9578-6.
• Berry, Donald A. (1996). Estadística: Una perspectiva bayesiana . Duxbury. ISBN 978-0-534-23476-8.
• Morris H. DeGroot y Mark J. Schervish (2002). Probabilidad y estadística (tercera  ed.). Addison-Wesley. ISBN 978-0-201-52488-8.
• Bolstad, William M. (2007) Introducción a la estadística bayesiana : Segunda edición, John Wiley ISBN 0-471-27020-2
• Winkler, Robert L (2003). Introducción a la inferencia y decisión bayesiana (2.ª  ed.). Probabilistic. ISBN 978-0-9647938-4-2.Libro de texto clásico actualizado. La teoría bayesiana se presenta de forma clara.
• Lee, Peter M. Estadística bayesiana: una introducción . Cuarta edición (2012), John Wiley ISBN 978-1-1183-3257-3
• Carlin, Bradley P. y Louis, Thomas A. (2008). Métodos bayesianos para el análisis de datos, tercera edición . Boca Raton, FL: Chapman and Hall/CRC. ISBN 978-1-58488-697-6.
• Gelman, Andrew ; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Análisis de datos bayesianos, tercera edición . Chapman and Hall/CRC. ISBN 978-1-4398-4095-5.

• Berger, James O (1985). Teoría de la decisión estadística y análisis bayesiano . Springer Series in Statistics (Segunda  ed.). Springer-Verlag. Bibcode : 1985sdtb.book.....B . ISBN 978-0-387-96098-2.
• Bernardo, José  M. ; Smith, Adrian  F.  M. (1994). Teoría bayesiana . Wiley.
• DeGroot, Morris H. , Decisiones estadísticas óptimas . Wiley Classics Library. 2004. (Publicado originalmente (1970) por McGraw-Hill.) ISBN 0-471-68029-X.
• Schervish, Mark J. (1995). Teoría de la estadística . Springer-Verlag. ISBN 978-0-387-94546-0.
• Jaynes, ET (1998). Teoría de la probabilidad: La lógica de la ciencia .
• O'Hagan, A. y Forster, J. (2003). Teoría avanzada de la estadística de Kendall , Volumen 2B: Inferencia bayesiana . Arnold, Nueva York. ISBN 0-340-52922-9.
• Robert, Christian P (2007). La elección bayesiana: desde los fundamentos de la teoría de la decisión hasta la implementación computacional (  edición de bolsillo). Springer. ISBN 978-0-387-71598-8.
• Pearl, Judea . (1988). Razonamiento probabilístico en sistemas inteligentes: redes de inferencia plausible , San Mateo, CA: Morgan Kaufmann.
• Pierre Bessière et al. (2013). " Programación bayesiana ". Prensa CRC. ISBN 9781439880326
• Francisco J. Samaniego (2010). "Una comparación de los enfoques bayesiano y frecuentista para la estimación". Springer. Nueva York, ISBN 978-1-4419-5940-9