proceso de Dirichlet

Una metáfora muy utilizada para el proceso de Dirichlet se basa en el llamado proceso del restaurante chino . La metáfora es la siguiente:

Imaginemos un restaurante chino al que entran clientes. Un nuevo cliente se sienta en una mesa con una probabilidad proporcional al número de clientes que ya están sentados allí. Además, un cliente abre una nueva mesa con una probabilidad proporcional al parámetro de escala.${\displaystyle \alpha }$Después de que ingresen infinitos clientes, se obtiene una distribución de probabilidad sobre un número infinito de mesas para elegir. Esta distribución de probabilidad sobre las mesas es una muestra aleatoria de las probabilidades de las observaciones extraídas de un proceso de Dirichlet con parámetro de escala.${\displaystyle \alpha }$.

Si uno asocia extrae de la medida base${\displaystyle H}$con cada tabla, la distribución resultante sobre el espacio muestral${\displaystyle S}$es una muestra aleatoria de un proceso de Dirichlet. El proceso del restaurante chino está relacionado con el esquema de muestreo de la urna de Pólya , que produce muestras de distribuciones finitas de Dirichlet.

Debido a que los clientes se sientan en una mesa con una probabilidad proporcional al número de clientes que ya están sentados en ella, se pueden deducir dos propiedades del DP:

1. El proceso de Dirichlet presenta una propiedad de autorrefuerzo: cuanto más a menudo se haya muestreado un valor determinado en el pasado, más probable será que se vuelva a muestrear.
2. Incluso si${\displaystyle H}$es una distribución sobre un conjunto no numerable , hay una probabilidad no nula de que dos muestras tengan exactamente el mismo valor porque la masa de probabilidad se concentrará en un pequeño número de tablas.

Un tercer enfoque del proceso de Dirichlet es la llamada visión del proceso de ruptura de palos. Conceptualmente, esto implica romper y descartar repetidamente una fracción aleatoria (muestreada de una distribución Beta) de un "palo" que inicialmente tiene una longitud de 1. Recuerde que las extracciones de un proceso de Dirichlet son distribuciones sobre un conjunto${\displaystyle S}$Como se indicó anteriormente, la distribución obtenida es discreta con probabilidad 1. En la perspectiva del proceso de ruptura de palos, utilizamos explícitamente la discreción y damos la función de masa de probabilidad de esta distribución discreta (aleatoria) como:

${\displaystyle f(\theta )=\sum _{k=1}^{\infty }\beta _{k}\cdot \delta _{\theta _{k}}(\theta )}$

dónde${\displaystyle \delta _{\theta _{k}}}$es la función indicadora que se evalúa a cero en todas partes, excepto en${\displaystyle \delta _{\theta _{k}}(\theta _{k})=1}$Dado que esta distribución es aleatoria en sí misma, su función de masa está parametrizada por dos conjuntos de variables aleatorias: las ubicaciones${\displaystyle \left\{\theta _{k}\right\}_{k=1}^{\infty }}$y las probabilidades correspondientes${\displaystyle \left\{\beta _{k}\right\}_{k=1}^{\infty }}$A continuación, presentamos sin demostración cuáles son estas variables aleatorias.

Las ubicaciones${\displaystyle \theta _{k}}$son independientes e idénticamente distribuidas según${\displaystyle H}$, la distribución base del proceso de Dirichlet. Las probabilidades${\displaystyle \beta _{k}}$se obtienen mediante un procedimiento similar a la rotura de un palo de longitud unitaria (de ahí su nombre):

${\displaystyle \beta _{k}=\beta '_{k}\cdot \prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)}$

dónde${\displaystyle \beta '_{k}}$son variables aleatorias independientes con distribución beta${\displaystyle \operatorname {Beta} (1,\alpha )}$. El parecido con 'romper palos' se puede ver al considerar${\displaystyle \beta _{k}}$como la longitud de un trozo de palo. Comenzamos con un palo de longitud unitaria y en cada paso rompemos una porción del palo restante según${\displaystyle \beta '_{k}}$y asignar este trozo roto a${\displaystyle \beta _{k}}$La fórmula se puede entender al observar que después de que los primeros k − 1 valores tienen sus porciones asignadas, la longitud del resto del palo es  ${\displaystyle \prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)}$y esta pieza está rota según${\displaystyle \beta '_{k}}$y se le asigna${\displaystyle \beta _{k}}$.

El más pequeño${\displaystyle \alpha }$Es decir, quedará menos material para los valores subsiguientes (en promedio), lo que dará como resultado distribuciones más concentradas.

El proceso de ruptura de palos es similar a la construcción donde se muestrea secuencialmente de distribuciones beta marginales para generar una muestra de una distribución de Dirichlet . ^{[ 4 ]}

Otra forma de visualizar el proceso de Dirichlet y el proceso del restaurante chino es como un esquema de urna de Pólya modificado , a veces llamado esquema de muestreo de Blackwell-MacQueen . Imaginemos que comenzamos con una urna llena de${\displaystyle \alpha }$bolas negras. A continuación procedemos de la siguiente manera:

1. Cada vez que necesitamos hacer una observación, sacamos una bola de la urna.
2. Si la bola es negra, generamos un nuevo color (que no sea negro) de forma uniforme, etiquetamos una nueva bola con este color, la dejamos caer en la urna junto con la bola que extrajimos y devolvemos la bola del color que generamos.
3. De lo contrario, etiqueta una bola nueva con el color de la bola que sacamos, deja caer la bola nueva en la urna junto con la bola que sacamos y devuelve la bola del color que observamos.

La distribución resultante sobre los colores es la misma que la distribución sobre las mesas en el proceso del restaurante chino. Además, cuando sacamos una bola negra, si en lugar de generar un nuevo color, elegimos un valor aleatorio de una distribución base.${\displaystyle H}$y usar ese valor para etiquetar la nueva bola, la distribución resultante sobre las etiquetas será la misma que la distribución sobre los valores en un proceso de Dirichlet.

En este modelo, la distribución posterior es nuevamente un proceso de Dirichlet. Esto significa que el proceso de Dirichlet es una distribución a priori conjugada para este modelo. La distribución posterior viene dada por

${\displaystyle {\begin{aligned}P\mid X_{1},\ldots ,X_{n}&\sim {\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {1}{\alpha +n}}\sum _{i=1}^{n}\delta _{X_{i}},\;\alpha +n\right)\\&={\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {n}{\alpha +n}}\mathbb {P} _{n},\;\alpha +n\right)\end{aligned}}}$

dónde${\displaystyle \mathbb {P} _{n}}$Se define a continuación.

Si adoptamos la visión frecuentista de la probabilidad, creemos que existe una distribución de probabilidad verdadera.${\displaystyle P_{0}}$que generó los datos. Entonces resulta que el proceso de Dirichlet es consistente en la topología débil , lo que significa que para cada vecindario débil${\displaystyle U}$de${\displaystyle P_{0}}$, la probabilidad posterior de${\displaystyle U}$converge a${\displaystyle 1}$.

Para interpretar los conjuntos creíbles como conjuntos de confianza, se necesita un teorema de Bernstein-von Mises . En el caso del proceso de Dirichlet, comparamos la distribución posterior con el proceso empírico.${\displaystyle \mathbb {P} _{n}={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}}$. Suponer${\displaystyle {\mathcal {F}}}$es un${\displaystyle P_{0}}$-Clase Donsker, es decir

${\displaystyle {\sqrt {n}}\left(\mathbb {P} _{n}-P_{0}\right)\rightsquigarrow G_{P_{0}}}$

para algunos puente browniano${\displaystyle G_{P_{0}}}$Supongamos también que existe una función${\displaystyle F}$de tal manera que${\displaystyle F(x)\geq \sup _{f\in {\mathcal {F}}}f(x)}$de tal manera que${\displaystyle \int F^{2}\,\mathrm {d} H<\infty }$, entonces,${\displaystyle P_{0}}$casi seguro

${\displaystyle {\sqrt {n}}\left(P-\mathbb {P} _{n}\right)\mid X_{1},\cdots ,X_{n}\rightsquigarrow G_{P_{0}}.}$

Esto implica que los conjuntos creíbles que construya son conjuntos de confianza asintóticos, y que la inferencia bayesiana basada en el proceso de Dirichlet es asintóticamente también una inferencia frecuentista válida.

Por ejemplo, podríamos estar interesados ​​en cómo votarán las personas sobre varias preguntas en unas próximas elecciones. Un modelo razonable para esta situación podría ser clasificar a cada votante como liberal, conservador o moderado y luego modelar el evento de que un votante diga "Sí" a una pregunta en particular como una variable aleatoria de Bernoulli, cuya probabilidad depende del grupo político al que pertenece. Al observar cómo se emitieron los votos en años anteriores sobre leyes similares, se podría ajustar un modelo predictivo utilizando un algoritmo de agrupamiento simple como k -means . Sin embargo, ese algoritmo requiere conocer de antemano el número de grupos que generaron los datos. En muchas situaciones, no es posible determinar esto con anticipación, e incluso cuando podemos asumir razonablemente un número de grupos, aun así querríamos poder verificar esta suposición. Por ejemplo, en el ejemplo de votación anterior, la división en liberal, conservador y moderado podría no ser lo suficientemente precisa; atributos como la religión, la clase social o la raza también podrían ser cruciales para modelar el comportamiento del votante, lo que resultaría en más grupos en el modelo.

Como otro ejemplo, podríamos estar interesados ​​en modelar las velocidades de las galaxias utilizando un modelo simple que suponga que las velocidades están agrupadas, por ejemplo, asumiendo que cada velocidad se distribuye según la distribución normal.${\displaystyle v_{i}\sim N(\mu _{k},\sigma ^{2})}$, donde el${\displaystyle i}$La observación pertenece a la${\displaystyle k}$cúmulo de galaxias con velocidad esperada común. En este caso, no es nada obvio cómo determinar a priori cuántos cúmulos (de velocidades comunes) debería haber, y cualquier modelo para esto sería muy dudoso y debería contrastarse con los datos. Al usar una distribución a priori de proceso de Dirichlet para la distribución de los medios de los cúmulos, evitamos la necesidad de especificar explícitamente de antemano cuántos cúmulos hay, aunque el parámetro de concentración aún lo controla implícitamente.

Consideremos este ejemplo con más detalle. Un primer modelo ingenuo consiste en presuponer que existen${\displaystyle K}$grupos de velocidades con distribución normal y varianza fija conocida común${\displaystyle \sigma ^{2}}$. Que denota el evento que el${\displaystyle i}$La observación está en el${\displaystyle k}$th clúster como${\displaystyle z_{i}=k}$Podemos escribir este modelo como:

${\displaystyle {\begin{aligned}(v_{i}\mid z_{i}=k,\mu _{k})&\sim N(\mu _{k},\sigma ^{2})\\\operatorname {P} (z_{i}=k)&=\pi _{k}\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}}$

Es decir, asumimos que los datos pertenecen a${\displaystyle K}$grupos distintos con medias${\displaystyle \mu _{k}}$y eso${\displaystyle \pi _{k}}$es la probabilidad previa (desconocida) de que un punto de datos pertenezca al grupo${\displaystyle k}$clúster th. Suponemos que no tenemos información inicial que distinga los clústeres, lo cual se captura mediante la distribución a priori simétrica.${\displaystyle \operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)}$. Aquí${\displaystyle \operatorname {Dir} }$denota la distribución de Dirichlet y${\displaystyle \mathbf {1} _{K}}$denota un vector de longitud${\displaystyle K}$donde cada elemento es 1. Además, asignamos distribuciones previas independientes e idénticas.${\displaystyle H(\lambda )}$a cada una de las medias de clúster, donde${\displaystyle H}$puede ser cualquier distribución paramétrica con parámetros denotados como${\displaystyle \lambda }$. Los hiperparámetros${\displaystyle \alpha }$y${\displaystyle \lambda }$Se consideran constantes fijas conocidas, elegidas para reflejar nuestras creencias previas sobre el sistema. Para comprender la conexión con las distribuciones a priori de los procesos de Dirichlet, reescribimos este modelo de una forma equivalente pero más sugerente:

${\displaystyle {\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G=\sum _{k=1}^{K}\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}}$

En lugar de imaginar que a cada punto de datos se le asigna primero un clúster y luego se extrae de la distribución asociada a ese clúster, ahora pensamos que cada observación está asociada con un parámetro.${\displaystyle {\tilde {\mu }}_{i}}$extraído de alguna distribución discreta${\displaystyle G}$con apoyo en el${\displaystyle K}$significa. Es decir, ahora estamos tratando el${\displaystyle {\tilde {\mu }}_{i}}$como si se hubieran extraído de la distribución aleatoria${\displaystyle G}$y nuestra información previa se incorpora al modelo mediante la distribución sobre distribuciones${\displaystyle G}$.

Ahora nos gustaría ampliar este modelo para que funcione sin especificar previamente un número fijo de clústeres.${\displaystyle K}$Matemáticamente, esto significa que nos gustaría seleccionar una distribución previa aleatoria.${\displaystyle G({\tilde {\mu }}_{i})=\sum _{k=1}^{\infty }\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})}$donde los valores de los clústeres significan${\displaystyle \mu _{k}}$nuevamente se distribuyen independientemente según${\displaystyle H\left(\lambda \right)}$y la distribución sobre${\displaystyle \pi _{k}}$es simétrico sobre el conjunto infinito de clústeres. Esto es precisamente lo que logra el modelo:

${\displaystyle {\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G\\G&\sim \operatorname {DP} (H(\lambda ),\alpha )\end{aligned}}}$

Con esto en mente, podemos comprender mejor las ventajas computacionales del proceso de Dirichlet. Supongamos que quisiéramos dibujar${\displaystyle n}$observaciones del modelo ingenuo con exactamente${\displaystyle K}$clústeres. Un algoritmo sencillo para hacer esto sería dibujar${\displaystyle K}$valores de${\displaystyle \mu _{k}}$de${\displaystyle H(\lambda )}$, una distribución${\displaystyle \pi }$de${\displaystyle \operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)}$y luego, para cada observación, muestrear independientemente el clúster.${\displaystyle k}$con probabilidad${\displaystyle \pi _{k}}$y el valor de la observación según${\displaystyle N\left(\mu _{k},\sigma ^{2}\right)}$Es fácil ver que este algoritmo no funciona en el caso de que permitamos clústeres infinitos porque esto requeriría muestrear un parámetro de dimensión infinita.${\displaystyle {\boldsymbol {\pi }}}$Sin embargo, todavía es posible tomar muestras de las observaciones.${\displaystyle v_{i}}$Por ejemplo, se puede utilizar la representación del restaurante chino que se describe a continuación y calcular la probabilidad de que se utilicen clústeres y se cree un nuevo clúster. Esto evita tener que especificarlo explícitamente.${\displaystyle {\boldsymbol {\pi }}}$Otras soluciones se basan en una truncación de clústeres: se introduce un límite superior (alto) para el número real de clústeres y los números de clústeres superiores al límite inferior se tratan como un solo clúster.

Ajustar el modelo descrito anteriormente basándose en los datos observados.${\displaystyle D}$significa encontrar la distribución posterior${\displaystyle p\left({\boldsymbol {\pi }},{\boldsymbol {\mu }}\mid D\right)}$sobre las probabilidades de clúster y sus medias asociadas. En el caso de dimensión infinita, es obviamente imposible escribir la distribución posterior explícitamente. Sin embargo, es posible extraer muestras de esta distribución posterior utilizando un muestreador de Gibbs modificado . ^{[ 6 ]} Este es el hecho crítico que hace que la distribución previa del proceso de Dirichlet sea útil para la inferencia .