Una distribución de probabilidad previa (a menudo denominada simplemente probabilidad previa , distribución previa o a priori ) de una cantidad incierta es su distribución de probabilidad supuesta antes de considerar la evidencia. Por ejemplo, la distribución a priori podría ser la distribución de probabilidad que representa las proporciones relativas de votantes que votarán por un político en particular en una elección futura. La cantidad desconocida puede ser un parámetro del modelo o una variable latente en lugar de una variable observable .
En estadística bayesiana , la regla de Bayes prescribe cómo actualizar la distribución a priori con nueva información para obtener la distribución de probabilidad a posteriori , que es la distribución condicional de la cantidad incierta dados los nuevos datos. Históricamente, la elección de las distribuciones a priori solía estar restringida a una familia conjugada de una función de verosimilitud dada , de modo que resultara en una distribución a posteriori manejable de la misma familia. Sin embargo, la amplia disponibilidad de métodos de Monte Carlo de cadena de Markov ha reducido esta preocupación.
Hay muchas maneras de construir una distribución a priori. [ 1 ] En algunos casos, una distribución a priori puede determinarse a partir de información pasada, como experimentos previos. Una distribución a priori también puede obtenerse a partir de la evaluación puramente subjetiva de un experto experimentado. [ 2 ] [ 3 ] [ 4 ] Cuando no se dispone de información, se puede adoptar una distribución a priori no informativa , justificada por el principio de indiferencia . [ 5 ] [ 6 ] En aplicaciones modernas, las distribuciones a priori también se eligen a menudo por sus propiedades mecánicas, como la regularización y la selección de características . [ 7 ] [ 8 ] [ 9 ]
Las distribuciones previas de los parámetros del modelo a menudo dependerán de sus propios parámetros. La incertidumbre sobre estos hiperparámetros puede, a su vez, expresarse como distribuciones de probabilidad hiperprevias . Por ejemplo, si se utiliza una distribución beta para modelar la distribución del parámetro p de una distribución de Bernoulli , entonces:
- p es un parámetro del sistema subyacente (distribución de Bernoulli), y
- α y β son parámetros de la distribución previa (distribución beta); por lo tanto, son hiperparámetros .
En principio, las distribuciones a priori pueden descomponerse en muchos niveles condicionales de distribuciones, denominadas distribuciones a priori jerárquicas . [ 10 ]
Priores informativos
Una distribución a priori informativa expresa información específica y definida sobre una variable. Un ejemplo es la distribución a priori de la temperatura al mediodía de mañana. Un enfoque razonable consiste en que la distribución a priori sea una distribución normal con un valor esperado igual a la temperatura del mediodía de hoy, con una varianza igual a la varianza diaria de la temperatura atmosférica, o bien una distribución de la temperatura para ese día del año.
Este ejemplo comparte una propiedad con muchas distribuciones a priori: la distribución a posteriori de un problema (la temperatura de hoy) se convierte en la distribución a priori de otro problema (la temperatura de mañana). La evidencia preexistente, que ya se ha tenido en cuenta, forma parte de la distribución a priori y, a medida que se acumula más evidencia, la distribución a posteriori se determina principalmente por la evidencia y no por ninguna suposición original, siempre que esta última admitiera la posibilidad de lo que la evidencia sugiere. Los términos «distribución a priori» y «distribución a posteriori» suelen referirse a un dato u observación específicos.
Fuerte previo
Una distribución a priori fuerte es una suposición, teoría, concepto o idea previa sobre la cual, tras considerar nueva información, se fundamenta una suposición, teoría, concepto o idea actual. Una distribución a priori fuerte es un tipo de distribución a priori informativa en la que la información contenida en la distribución a priori predomina sobre la información contenida en los datos analizados. El análisis bayesiano combina la información contenida en la distribución a priori con la extraída de los datos para producir la distribución a posteriori que, en el caso de una distribución a priori fuerte, apenas variaría con respecto a la distribución a priori.
Priores débilmente informativos
Una distribución a priori débilmente informativa expresa información parcial sobre una variable, orientando el análisis hacia soluciones que se alinean con el conocimiento existente sin restringir excesivamente los resultados y evitando estimaciones extremas. Un ejemplo sería, al establecer la distribución a priori para la temperatura al mediodía de mañana en San Luis, usar una distribución normal con una media de 50 grados Fahrenheit y una desviación estándar de 40 grados, lo que restringe la temperatura de forma muy laxa al rango (10 grados, 90 grados) con una pequeña probabilidad de que sea inferior a -30 grados o superior a 130 grados. El propósito de una distribución a priori débilmente informativa es la regularización , es decir, mantener las inferencias dentro de un rango razonable.
Priores no informativos
Una distribución a priori no informativa , plana o difusa expresa información vaga o general sobre una variable. [ 5 ] El término "distribución a priori no informativa" es algo inapropiado. Dicha distribución a priori también podría denominarse distribución a priori poco informativa o distribución a priori objetiva , es decir, una que no se obtiene de forma subjetiva.
Las distribuciones a priori no informativas pueden expresar información "objetiva", como "la variable es positiva" o "la variable es menor que un límite". La regla más simple y antigua para determinar una distribución a priori no informativa es el principio de indiferencia , que asigna probabilidades iguales a todas las posibilidades. En problemas de estimación de parámetros, el uso de una distribución a priori no informativa suele producir resultados que no difieren demasiado del análisis estadístico convencional, ya que la función de verosimilitud a menudo proporciona más información que la distribución a priori no informativa.
Se han realizado algunos intentos para encontrar probabilidades a priori, es decir, distribuciones de probabilidad que, en cierto sentido, resultan lógicamente necesarias dada la naturaleza del estado de incertidumbre. Este tema es objeto de controversia filosófica, y los bayesianos se dividen, a grandes rasgos, en dos escuelas: los "bayesianos objetivos", que creen que tales probabilidades a priori existen en muchas situaciones útiles, y los "bayesianos subjetivos", que creen que, en la práctica, las probabilidades a priori suelen representar juicios subjetivos que no pueden justificarse rigurosamente (Williamson 2010). Quizás los argumentos más sólidos a favor del bayesianismo objetivo fueron presentados por Edwin T. Jaynes , basándose principalmente en las consecuencias de las simetrías y en el principio de máxima entropía.
Como ejemplo de una distribución a priori, según Jaynes (2003), consideremos una situación en la que se sabe que una pelota se ha escondido bajo uno de tres vasos, A, B o C, pero no se dispone de más información sobre su ubicación. En este caso, una distribución a priori uniforme de p ( A ) = p ( B ) = p ( C ) = 1/3 parece intuitivamente la única opción razonable. Formalmente, podemos observar que el problema persiste si intercambiamos las etiquetas ("A", "B" y "C") de los vasos. Por lo tanto, sería extraño elegir una distribución a priori para la cual una permutación de las etiquetas provocara un cambio en nuestras predicciones sobre bajo qué vaso se encontrará la pelota; la distribución a priori uniforme es la única que preserva esta invariancia. Si se acepta este principio de invariancia, se puede ver que la distribución a priori uniforme es la lógicamente correcta para representar este estado de conocimiento. Esta distribución a priori es "objetiva" en el sentido de ser la elección correcta para representar un estado de conocimiento particular, pero no es objetiva en el sentido de ser una característica del mundo independiente del observador: en realidad, la pelota existe bajo una copa particular, y solo tiene sentido hablar de probabilidades en esta situación si hay un observador con conocimiento limitado sobre el sistema. [ 11 ]
Como ejemplo más controvertido, Jaynes publicó un argumento basado en la invariancia de la distribución a priori bajo un cambio de parámetros que sugiere que la distribución a priori que representa la incertidumbre completa sobre una probabilidad debería ser la distribución a priori de Haldane p − 1 (1 − p ) − 1 . [ 12 ] El ejemplo que da Jaynes es el de encontrar una sustancia química en un laboratorio y preguntar si se disolverá en agua en experimentos repetidos. La distribución a priori de Haldane [ 13 ] otorga, con mucho, el mayor peso a y, lo que indica que la muestra se disolverá siempre o nunca se disolverá, con igual probabilidad. Sin embargo, si se ha observado que las muestras del químico se disuelven en un experimento y no se disuelven en otro, entonces esta distribución a priori se actualiza a la distribución uniforme en el intervalo [0, 1]. Esto se obtiene aplicando el teorema de Bayes al conjunto de datos que consiste en una observación de disolución y una de no disolución, utilizando la distribución a priori anterior. La distribución a priori de Haldane es una distribución a priori impropia (lo que significa que tiene una masa infinita). Harold Jeffreys ideó una forma sistemática de diseñar distribuciones a priori no informativas como, por ejemplo, la distribución a priori de Jeffreys p − 1/2 (1 − p ) − 1/2 para la variable aleatoria de Bernoulli.
Se pueden construir distribuciones a priori proporcionales a la medida de Haar si el espacio de parámetros X posee una estructura de grupo natural que deja invariante nuestro estado de conocimiento bayesiano. [ 12 ] Esto puede verse como una generalización del principio de invariancia utilizado para justificar la distribución a priori uniforme sobre las tres copas en el ejemplo anterior. Por ejemplo, en física podríamos esperar que un experimento dé los mismos resultados independientemente de nuestra elección del origen de un sistema de coordenadas. Esto induce la estructura de grupo del grupo de traslación en X , que determina la probabilidad a priori como una distribución a priori impropia constante . De manera similar, algunas mediciones son naturalmente invariantes a la elección de una escala arbitraria (por ejemplo, ya sea que se usen centímetros o pulgadas, los resultados físicos deberían ser iguales). En tal caso, el grupo de escala es la estructura de grupo natural, y la distribución a priori correspondiente en X es proporcional a 1/ x . A veces importa si usamos la medida de Haar invariante a la izquierda o invariante a la derecha. Por ejemplo, las medidas de Haar invariantes a la izquierda y a la derecha en el grupo afín no son iguales. Berger (1985, p. 413) argumenta que la medida de Haar invariante a la derecha es la elección correcta.
Otra idea, defendida por Edwin T. Jaynes , consiste en utilizar el principio de máxima entropía (MAXENT). La motivación reside en que la entropía de Shannon de una distribución de probabilidad mide la cantidad de información contenida en ella. Cuanto mayor sea la entropía, menor será la información que proporciona la distribución. Por lo tanto, al maximizar la entropía sobre un conjunto adecuado de distribuciones de probabilidad en X , se encuentra la distribución menos informativa, en el sentido de que contiene la menor cantidad de información compatible con las restricciones que definen el conjunto. Por ejemplo, la distribución a priori de máxima entropía en un espacio discreto , dado únicamente que la probabilidad está normalizada a 1, es la que asigna la misma probabilidad a cada estado. En el caso continuo, la distribución a priori de máxima entropía, dado que la densidad está normalizada con media cero y varianza unitaria, es la distribución normal estándar . El principio de mínima entropía cruzada generaliza MAXENT al caso de "actualizar" una distribución a priori arbitraria con restricciones adecuadas en el sentido de máxima entropía.
Una idea relacionada, las distribuciones a priori de referencia , fue introducida por José-Miguel Bernardo . Aquí, la idea es maximizar la divergencia esperada de Kullback-Leibler de la distribución posterior con respecto a la distribución a priori. Esto maximiza la información posterior esperada sobre X cuando la densidad a priori es p ( x ); por lo tanto, en cierto sentido, p ( x ) es la distribución a priori "menos informativa" sobre X. La distribución a priori de referencia se define en el límite asintótico, es decir, se considera el límite de las distribuciones a priori así obtenidas cuando el número de puntos de datos tiende a infinito. En el presente caso, la divergencia KL entre las distribuciones a priori y posterior viene dada por
Aquí,es una estadística suficiente para algún parámetro. La integral interna es la divergencia KL entre la posteriory anterioresdistribuciones y el resultado es la media ponderada sobre todos los valores de. Dividiendo el logaritmo en dos partes, invirtiendo el orden de las integrales en la segunda parte y observando queno depende derendimientos
La integral interna en la segunda parte es la integral sobrede la densidad conjuntaEsta es la distribución marginal, así que tenemos
Ahora utilizamos el concepto de entropía que, en el caso de las distribuciones de probabilidad, es el valor esperado negativo del logaritmo de la función de masa o densidad de probabilidad o Usando esto en la última ecuación se obtiene
En otras palabras, KL es el valor esperado negativo sobrede la entropía decondicionado amás la entropía marginal (es decir, incondicional) de. En el caso límite en que el tamaño de la muestra tiende a infinito, el teorema de Bernstein-von Mises establece que la distribución decondicionado a un valor observado dado dees normal con una varianza igual al recíproco de la información de Fisher en el valor 'verdadero' de. La entropía de una función de densidad normal es igual a la mitad del logaritmo dedóndees la varianza de la distribución. En este caso, por lo tantodóndees el tamaño de muestra arbitrariamente grande (al cual la información de Fisher es proporcional) yes el valor 'verdadero'. Dado que esto no depende deSe puede sacar de la integral, y como esta integral está sobre un espacio de probabilidad, es igual a uno. Por lo tanto, podemos escribir la forma asintótica de KL como dóndees proporcional al tamaño de la muestra (asintóticamente grande). No conocemos el valor deDe hecho, la idea misma va en contra de la filosofía de la inferencia bayesiana en la que los valores "verdaderos" de los parámetros se reemplazan por distribuciones previas y posteriores. Por lo tanto, eliminamosreemplazándolo cony tomando el valor esperado de la entropía normal, que obtenemos multiplicando pory la integración sobreEsto nos permite combinar los logaritmos obteniendo
Se trata de una divergencia cuasi-KL («cuasi» en el sentido de que la raíz cuadrada de la información de Fisher puede ser el núcleo de una distribución impropia). Debido al signo negativo, debemos minimizarla para maximizar la divergencia KL con la que comenzamos. El valor mínimo de la última ecuación se produce cuando las dos distribuciones en el argumento del logaritmo, sean impropias o no, no divergen. Esto, a su vez, ocurre cuando la distribución a priori es proporcional a la raíz cuadrada de la información de Fisher de la función de verosimilitud. Por lo tanto, en el caso de un solo parámetro, las distribuciones a priori de referencia y las de Jeffreys son idénticas, aunque Jeffreys tenga una lógica muy diferente.
Las distribuciones a priori de referencia suelen ser la distribución a priori objetiva preferida en problemas multivariados, ya que otras reglas (por ejemplo, la regla de Jeffreys ) pueden dar lugar a distribuciones a priori con un comportamiento problemático.
Las distribuciones previas objetivas también pueden derivarse de otros principios, como la teoría de la información o la teoría de la codificación (véase, por ejemplo, la longitud de descripción mínima ) o la estadística frecuentista (las llamadas distribuciones previas de coincidencia de probabilidad ). [ 14 ] Estos métodos se utilizan en la teoría de inferencia inductiva de Solomonoff . La construcción de distribuciones previas objetivas se ha introducido recientemente en bioinformática, y especialmente en la inferencia en biología de sistemas del cáncer , donde el tamaño de la muestra es limitado y se dispone de una gran cantidad de conocimiento previo . En estos métodos, se utiliza un criterio basado en la teoría de la información, como la divergencia KL o la función de log-verosimilitud para problemas de aprendizaje supervisado binario [ 15 ] y problemas de modelos de mezcla. [ 16 ]
Los problemas filosóficos asociados con las distribuciones a priori no informativas están relacionados con la elección de una métrica o escala de medición apropiada. Supongamos que queremos una distribución a priori para la velocidad de un corredor desconocido. Podríamos especificar, por ejemplo, una distribución normal como distribución a priori para su velocidad, pero también podríamos especificar una distribución normal a priori para el tiempo que tarda en completar 100 metros, que es proporcional al recíproco de la primera distribución a priori. Estas son distribuciones a priori muy diferentes, pero no está claro cuál es la preferible. El método de grupos de transformación de Jaynes puede responder a esta pregunta en algunas situaciones. [ 17 ]
De manera similar, si se nos pide estimar una proporción desconocida entre 0 y 1, podríamos decir que todas las proporciones son igualmente probables y usar una distribución a priori uniforme. Alternativamente, podríamos decir que todos los órdenes de magnitud para la proporción son igualmente probables, laLa distribución a priori logarítmica es la distribución uniforme a priori del logaritmo de la proporción. Ladistribución a priori de Jeffreysintenta resolver este problema calculando una distribución a priori que expresa la misma creencia independientemente de la métrica utilizada. La distribución a priori de Jeffreys para una proporción desconocidapesp − 1/2(1−p) − 1/2, que difiere de la recomendación de Jaynes.
En la inferencia inductiva, las distribuciones a priori basadas en nociones de probabilidad algorítmica se utilizan como base para la inducción en contextos muy generales.
Los problemas prácticos asociados con las distribuciones a priori no informativas incluyen el requisito de que la distribución posterior sea propia. Las distribuciones a priori no informativas habituales sobre variables continuas e ilimitadas son impropias. Esto no tiene por qué ser un problema si la distribución posterior es propia. Otro aspecto importante es que, si una distribución a priori no informativa se va a utilizar de forma rutinaria , es decir, con muchos conjuntos de datos diferentes, debe tener buenas propiedades frecuentistas . Normalmente, un bayesiano no se preocuparía por estos aspectos, pero pueden ser importantes en esta situación. Por ejemplo, se desearía que cualquier regla de decisión basada en la distribución posterior fuera admisible bajo la función de pérdida adoptada. La admisibilidad suele ser difícil de comprobar, aunque se conocen algunos resultados (p. ej., Berger y Strawderman 1996). El problema es particularmente agudo con los modelos bayesianos jerárquicos ; las distribuciones a priori habituales (p. ej., la distribución a priori de Jeffreys) pueden dar lugar a reglas de decisión claramente inadmisibles si se emplean en los niveles superiores de la jerarquía.
Priores impropias
Dejemos que los eventosser mutuamente excluyentes y exhaustivos. Si el teorema de Bayes se escribe como Entonces es claro que se obtendría el mismo resultado si todas las probabilidades previas P ( A i ) y P ( A j ) se multiplicaran por una constante dada; lo mismo sería cierto para una variable aleatoria continua . Si la suma en el denominador converge, las probabilidades posteriores seguirán sumando (o integrando) a 1 incluso si los valores previos no lo hacen, y por lo tanto, los priors solo necesitan especificarse en la proporción correcta. Llevando esta idea más allá, en muchos casos la suma o integral de los valores previos puede ni siquiera necesitar ser finita para obtener respuestas sensatas para las probabilidades posteriores. Cuando este es el caso, el prior se llama un prior impropio . Sin embargo, la distribución posterior no tiene por qué ser una distribución propia si el prior es impropio. [ 18 ] Esto es claro del caso en que el evento B es independiente de todos los A j .
Los estadísticos a veces utilizan distribuciones previas impropias como distribuciones previas no informativas . [ 19 ] Por ejemplo, si necesitan una distribución previa para la media y la varianza de una variable aleatoria, pueden asumir p ( m , v ) ~ 1/ v (para v > 0), lo que sugeriría que cualquier valor para la media es "igualmente probable" y que un valor para la varianza positiva se vuelve "menos probable" en proporción inversa a su valor. Muchos autores (Lindley, 1973; De Groot, 1937; Kass y Wasserman, 1996) advierten sobre el peligro de sobreinterpretar esas distribuciones previas, ya que no son densidades de probabilidad. Su única relevancia se encuentra en la distribución posterior correspondiente, siempre que esté bien definida para todas las observaciones. (La distribución previa de Haldane es un contraejemplo típico ) .
Por el contrario, las funciones de verosimilitud no necesitan integrarse, y una función de verosimilitud uniformemente igual a 1 corresponde a la ausencia de datos (todos los modelos son igualmente probables, dado que no hay datos): la regla de Bayes multiplica una distribución a priori por la verosimilitud, y un producto vacío es simplemente la verosimilitud constante 1. Sin embargo, sin partir de una distribución de probabilidad a priori, no se obtiene una distribución de probabilidad a posteriori y, por lo tanto, no se puede integrar ni calcular valores esperados ni la función de pérdida. Véase Función de verosimilitud § No integrabilidad para más detalles.
Ejemplos
Algunos ejemplos de probabilidades a priori impropias son:
- La distribución uniforme en un intervalo infinito (es decir, una semirrecta o toda la recta real).
- Beta(0,0), la distribución beta para α =0, β =0 (distribución uniforme en escala logarítmica de probabilidades ).
- La distribución a priori logarítmica en los números reales positivos (distribución uniforme en escala logarítmica ).
Estas funciones, interpretadas como distribuciones uniformes, también pueden interpretarse como la función de verosimilitud en ausencia de datos, pero no son distribuciones a priori adecuadas.
Probabilidad previa en mecánica estadística
Mientras que en la estadística bayesiana la probabilidad previa se utiliza para representar creencias iniciales sobre un parámetro incierto, en mecánica estadística la probabilidad a priori se utiliza para describir el estado inicial de un sistema. [ 20 ] La versión clásica se define como la razón del número de eventos elementales (por ejemplo, el número de veces que se lanza un dado) al número total de eventos, y estos se consideran puramente deductivamente, es decir, sin ningún experimento. En el caso del dado, si lo miramos sobre la mesa sin lanzarlo, se razona deductivamente que cada evento elemental tiene la misma probabilidad; por lo tanto, la probabilidad de cada resultado de un lanzamiento imaginario del dado (perfecto) o simplemente contando el número de caras es 1/6. Cada cara del dado aparece con igual probabilidad, siendo la probabilidad una medida definida para cada evento elemental. El resultado es diferente si lanzamos el dado veinte veces y preguntamos cuántas veces (de 20) aparece el número 6 en la cara superior. En este caso, el tiempo entra en juego y tenemos un tipo de probabilidad diferente según el tiempo o la cantidad de veces que se lanza el dado. Por otro lado, la probabilidad a priori es independiente del tiempo: puedes mirar el dado sobre la mesa todo el tiempo que quieras sin tocarlo y deducir que la probabilidad de que aparezca el número 6 en la cara superior es 1/6.
En mecánica estadística, por ejemplo, la de un gas contenido en un volumen finito., ambas las coordenadas espacialesy las coordenadas de momentode los elementos gaseosos individuales (átomos o moléculas) son finitos en el espacio de fases abarcado por estas coordenadas. De forma análoga al caso del dado, la probabilidad a priori es aquí (en el caso de un continuo) proporcional al elemento de volumen del espacio de fases.dividido pory es el número de ondas estacionarias (es decir, estados) en ella, dondees el rango de la variable yes el rango de la variable(aquí, por simplicidad, se considera en una dimensión). En 1 dimensión (longitud) este número o peso estadístico o ponderación a priori es. En las 3 dimensiones habituales (volumen) el número correspondiente se puede calcular como. [ 21 ] Para entender esta cantidad como un número de estados en mecánica cuántica (es decir, ondulatoria), recordemos que en mecánica cuántica cada partícula está asociada con una onda de materia que es la solución de una ecuación de Schrödinger . En el caso de partículas libres (de energía) como los de un gas en una caja de volumenDicha onda de materia es explícitamente dóndeson números enteros. El número de diferentes valores y por lo tanto estados en la región entreentonces se encuentra que es la expresión anterioral considerar el área cubierta por estos puntos. Además, en vista de la relación de incertidumbre , que en 1 dimensión espacial es Estos estados son indistinguibles (es decir, estos estados no llevan etiquetas). Una consecuencia importante es un resultado conocido como el teorema de Liouville , es decir, la independencia temporal de este elemento de volumen del espacio de fases y, por lo tanto, de la probabilidad a priori. Una dependencia temporal de esta cantidad implicaría información conocida sobre la dinámica del sistema y, por lo tanto, no sería una probabilidad a priori. [ 22 ] Por lo tanto, la región :={\frac {\Delta q\Delta p}{\int \Delta q\Delta p}},\;\;\;\int \Delta q\Delta p=\mathrm {const.} ,} cuando se diferencia con respecto al tiempoda como resultado cero (con la ayuda de las ecuaciones de Hamilton): El volumen en el tiempoes lo mismo que en el instante cero. Esto también se describe como conservación de la información.
En la teoría cuántica completa se tiene una ley de conservación análoga. En este caso, la región del espacio de fases se reemplaza por un subespacio del espacio de estados expresado en términos de un operador de proyección.y en lugar de la probabilidad en el espacio de fases, se tiene la densidad de probabilidad :={\frac {P}{{\text{Tr}}(P)}},\;\;\;N={\text{Tr}}(P)=\mathrm {const.} ,} dondees la dimensionalidad del subespacio. La ley de conservación en este caso se expresa mediante la unitariedad de la matriz S. En cualquier caso, las consideraciones asumen un sistema cerrado aislado. Este sistema cerrado aislado es un sistema con (1) una energía fija.y (2) un número fijo de partículasen (c) un estado de equilibrio. Si se considera un gran número de réplicas de este sistema, se obtiene lo que se denomina un conjunto microcanónico . Es para este sistema que se postula en estadística cuántica el «postulado fundamental de igualdad de probabilidades a priori de un sistema aislado». Esto significa que el sistema aislado en equilibrio ocupa cada uno de sus estados accesibles con la misma probabilidad. Por lo tanto, este postulado fundamental nos permite igualar la probabilidad a priori a la degeneración de un sistema, es decir, al número de estados diferentes con la misma energía.
Ejemplo
El siguiente ejemplo ilustra la probabilidad a priori (o ponderación a priori) en contextos (a) clásicos y (b) cuánticos.
- Probabilidad clásica a priori Consideremos la energía rotacional E de una molécula diatómica con momento de inercia I en coordenadas polares esféricas.(esto significaarriba está aquí), es decir El-curva para E constante yes una elipse de área Al integrar másyEl volumen total del espacio de fases cubierto para una energía constante E es y por lo tanto la ponderación a priori clásica en el rango de energíaes
- (volumen del espacio de fase en) menos (volumen del espacio de fase en) viene dado por
- Probabilidad cuántica a priori Suponiendo que el número de estados cuánticos en un rangopara cada dirección de movimiento viene dado, por elemento, por un factor, el número de estados en el rango de energía dE es, como se ve en (a)para la molécula diatómica en rotación. A partir de la mecánica ondulatoria, se sabe que los niveles de energía de una molécula diatómica en rotación vienen dados por cada uno de esos niveles es (2n+1) veces degenerado. Al evaluar uno obtiene Así, en comparación conarriba, se encuentra que el número aproximado de estados en el rango dE viene dado por la degeneración, es decir Así, la ponderación a priori en el contexto clásico (a) corresponde a la ponderación a priori aquí en el contexto cuántico (b). En el caso del oscilador armónico simple unidimensional de frecuencia naturalse encuentra correspondientemente: (a)y (b)(sin degeneración). Por lo tanto, en mecánica cuántica la probabilidad a priori es efectivamente una medida de la degeneración , es decir, el número de estados que tienen la misma energía. En el caso del átomo de hidrógeno o del potencial de Coulomb (donde la evaluación del volumen del espacio de fases para energía constante es más complicada) se sabe que la degeneración mecánica cuántica esconPor lo tanto, en este caso.
Probabilidad a priori y funciones de distribución
En mecánica estadística, es común derivar las llamadas funciones de distribución.para diversas estadísticas. En el caso de las estadísticas de Fermi-Dirac y Bose-Einstein , estas funciones son respectivamente Estas funciones se derivan para (1) un sistema en equilibrio dinámico (es decir, bajo condiciones estables y uniformes) con (2) un número total (y enorme) de partículas.(esta condición determina la constante), y (3) energía total, es decir, con cada uno de lospartículas que tienen la energíaUn aspecto importante en la derivación es tener en cuenta la indistinguibilidad de partículas y estados en la estadística cuántica, es decir, allí las partículas y los estados no tienen etiquetas. En el caso de los fermiones, como los electrones, que obedecen el principio de exclusión de Pauli (solo se permite una partícula por estado o ninguna), se tiene por lo tanto De este modoes una medida de la fracción de estados realmente ocupados por electrones a energíay temperaturaPor otro lado, la probabilidad a priories una medida del número de estados mecánicos de onda disponibles. Por lo tanto Desdees constante en condiciones uniformes (tantas partículas como salen de un elemento de volumen también entran de forma constante, de modo que la situación en el elemento parece estática), es decir, independiente del tiempo., ytambién es independiente del tiempocomo se mostró anteriormente, obtenemos Al expresar esta ecuación en términos de sus derivadas parciales, se obtiene la ecuación de transporte de Boltzmann . Arriba no se hizo mención de campos eléctricos u otros. Por lo tanto, sin la presencia de tales campos, tenemos la distribución de Fermi-Dirac como se indicó anteriormente. Pero con la presencia de tales campos, tenemos esta dependencia adicional de.
Véase también
Notas
- ↑ Robert, Christian (1994). «De la información previa a las distribuciones previas». La elección bayesiana . Nueva York: Springer. págs. 89–136 . ISBN 0-387-94296-3.
- ↑ Chaloner, Kathryn (1996). «Obtención de distribuciones previas». En Berry, Donald A.; Stangl, Dalene (eds.). Bioestadística bayesiana . Nueva York: Marcel Dekker. pp. 141–156 . ISBN 0-8247-9334-X.
- ↑ Mikkola, Petrus; et al. (2024). "Obtención de conocimiento previo: pasado, presente y futuro". Análisis bayesiano . 19 (4). doi : 10.1214/23-BA1381 . hdl : 11336/183197 . S2CID 244798734 .
- ↑ Icazatti, Alejandro; Abril-Pla, Oriol; Klami, Arto; Martin, Osvaldo A. (septiembre de 2023). "PreliZ: Una caja de herramientas para la obtención de información previa" . Journal of Open Source Software . 8 (89): 5499. Bibcode : 2023JOSS....8.5499I . doi : 10.21105/joss.05499 .
- 1 2 Zellner, Arnold (1971). "Distribuciones previas para representar 'saber poco'"« Introducción a la inferencia bayesiana en econometría . Nueva York: John Wiley & Sons. págs. 41-53 . ISBN». 0-471-98165-6.
- ↑ Price, Harold J.; Manson, Allison R. (2001). "Prioridades no informativas para el teorema de Bayes". AIP Conf. Proc . 617 : 379–391 . doi : 10.1063/1.1477060 .
- ↑ Piironen, Juho; Vehtari, Aki (2017). "Información de escasez y regularización en la herradura y otros priors de contracción" . Electronic Journal of Statistics . 11 (2): 5018– 5051. arXiv : 1707.01694 . doi : 10.1214/17-EJS1337SI .
- ↑ Simpson, Daniel; et al. (2017). "Penalización de la complejidad de los componentes del modelo: un enfoque práctico y basado en principios para la construcción de distribuciones a priori". Statistical Science . 32 (1): 1– 28. arXiv : 1403.4630 . doi : 10.1214/16-STS576 . S2CID 88513041 .
- ↑ Fortuin, Vincent (2022). "Priors in Bayesian Deep Learning: A Review". International Statistical Review . 90 (3): 563– 591. doi : 10.1111/insr.12502 . hdl : 20.500.11850/547969 . S2CID 234681651 .
- ↑ Congdon, Peter D. (2020). «Técnicas de regresión con priors jerárquicos». Modelos jerárquicos bayesianos (2.ª ed.). Boca Raton: CRC Press. pp. 253–315 . ISBN 978-1-03-217715-1.
- ↑ Florens, Jean-Pierre; Mouchart, Michael; Rolin, Jean-Marie (1990). «Argumentos de invariancia en estadística bayesiana». Toma de decisiones económicas: juegos, econometría y optimización . North-Holland. pp. 351–367 . ISBN 0-444-88422-X.
- 1 2 Jaynes, Edwin T. (septiembre de 1968). "Probabilidades a priori" (PDF) . IEEE Transactions on Systems Science and Cybernetics . 4 (3): 227– 241. doi : 10.1109/TSSC.1968.300117 .
- ↑ Esta distribución a priori fue propuesta por JBS Haldane en "A note on inverse probability", Mathematical Proceedings of the Cambridge Philosophical Society 28, 55–61, 1932, doi : 10.1017/S0305004100010495 . Véase también J. Haldane, "The precision of observed values of small frequencies", Biometrika, 35:297–300, 1948, doi : 10.2307/2332350 , JSTOR 2332350 .
- ↑ Datta, Gauri Sankar; Mukerjee, Rahul (2004). Probability Matching Priors: Higher Order Asymptotics . Springer. ISBN 978-0-387-20329-4.
- ↑ Esfahani, MS; Dougherty, ER (2014). "Incorporación del conocimiento de vías biológicas en la construcción de priors para la clasificación bayesiana óptima - IEEE Journals & Magazine". IEEE/ACM Transactions on Computational Biology and Bioinformatics . 11 (1): 202– 18. doi : 10.1109/TCBB.2013.143 . PMID 26355519 . S2CID 10096507 .
- ↑ Boluki, Shahin; Esfahani, Mohammad Shahrokh; Qian, Xiaoning; Dougherty, Edward R (diciembre de 2017). "Incorporación de conocimiento previo biológico para el aprendizaje bayesiano mediante priors de información impulsados por el conocimiento máximo" . BMC Bioinformatics . 18 (S14): 552. doi : 10.1186/s12859-017-1893-4 . ISSN 1471-2105 . PMC 5751802. PMID 29297278 .
- ↑ Jaynes (1968), pág. 17, véase también Jaynes (2003), capítulo 12. Tenga en cuenta que el capítulo 12 no está disponible en la versión preliminar en línea, pero se puede consultar a través de Google Libros.
- ↑ Dawid, AP; Stone, M.; Zidek, JV (1973). "Paradojas de la marginalización en la inferencia bayesiana y estructural". Journal of the Royal Statistical Society . Serie B (Metodológica). 35 (2): 189– 233. doi : 10.1111/j.2517-6161.1973.tb00952.x . JSTOR 2984907 .
- ↑ Christensen, Ronald; Johnson, Wesley; Branscum, Adam; Hanson, Timothy E. (2010). Ideas bayesianas y análisis de datos : una introducción para científicos y estadísticos . Hoboken: CRC Press. pág. 69. ISBN 9781439894798.
- ↑ Iba, Y. (1989). «Estadística bayesiana y mecánica estadística». En Takayama, H. (ed.). Dinámica cooperativa en sistemas físicos complejos . Springer Series in Synergetics. Vol. 43. Berlín: Springer. pp. 235–236 . doi : 10.1007/978-3-642-74554-6_60 . ISBN 978-3-642-74556-0.
- ↑ Müller-Kirsten, HJW (2013). Fundamentos de física estadística (2.ª ed.). Singapur: World Scientific. Capítulo 6.
- ↑ Ben-Naim, A. (2007). Entropía desmitificada . Singapur: World Scientific.
Referencias
- Bauwens, Luc; Lubrano, Michel; Richard, Jean-François (1999). «Densidades a priori para el modelo de regresión». Inferencia bayesiana en modelos econométricos dinámicos . Oxford University Press. pp. 94–128 . ISBN 0-19-877313-7.
- Rubin, Donald B.; Gelman, Andrew ; John B. Carlin; Stern, Hal (2003). Análisis de datos bayesianos (2.ª ed.). Boca Raton: Chapman & Hall/CRC. ISBN 978-1-58488-388-3. MR 2027492 .
- Berger, James O. (1985). Teoría estadística de la decisión y análisis bayesiano . Berlín: Springer-Verlag. ISBN 978-0-387-96098-2MR 0804611 .
- Berger, James O.; Strawderman, William E. (1996). "Elección de priors jerárquicos: admisibilidad en la estimación de medias normales" . Annals of Statistics . 24 (3): 931– 951. doi : 10.1214/aos/1032526950 . MR 1401831. Zbl 0865.62004 .
- Bernardo, Jose M. (1979). "Distribuciones posteriores de referencia para inferencia bayesiana". Journal of the Royal Statistical Society, Serie B. 41 ( 2 ): 113– 147. doi : 10.1111/j.2517-6161.1979.tb01066.x . JSTOR 2985028. MR 0547240 .
- James O. Berger ; José M. Bernardo ; Dongchu Sun (2009). "La definición formal de las distribuciones a priori de referencia". Annals of Statistics . 37 (2): 905– 938. arXiv : 0904.0156 . Bibcode : 2009arXiv0904.0156B . doi : 10.1214/07-AOS587 . S2CID 3221355 .
- Jaynes, Edwin T. (2003). Teoría de la probabilidad: La lógica de la ciencia . Cambridge University Press. ISBN 978-0-521-59271-0.
- Williamson, Jon (2010). "Reseña de Bruno di Finetti. Philosophical Lectures on Probability" (PDF) . Philosophia Mathematica . 18 (1): 130– 135. doi : 10.1093/philmat/nkp019 . Archivado del original (PDF) el 9 de junio de 2011. Consultado el 2 de julio de 2010 .
Enlaces externos
- PriorDB es una base de datos colaborativa de modelos y sus probabilidades a priori.
- estadística bayesiana
- Evaluación de probabilidad