Modelo de tema dinámico

En el ámbito de la estadística , los modelos de temas dinámicos son modelos generativos que se pueden utilizar para analizar la evolución de temas (no observados) de una colección de documentos a lo largo del tiempo. Esta familia de modelos fue propuesta por David Blei y John Lafferty y es una extensión de la asignación de Dirichlet latente (LDA) que puede manejar documentos secuenciales. ^[1]

En LDA, tanto el orden en que aparecen las palabras en un documento como el orden en que aparecen los documentos en el corpus son ajenos al modelo. Mientras que todavía se supone que las palabras son intercambiables , en un modelo de tópicos dinámicos el orden de los documentos juega un papel fundamental. Más precisamente, los documentos se agrupan por franjas temporales (p. ej.: años) y se supone que los documentos de cada grupo provienen de un conjunto de tópicos que evolucionaron a partir del conjunto de la franja anterior.

De manera similar a LDA y pLSA , en un modelo de temas dinámicos, cada documento se considera como una mezcla de temas no observados. Además, cada tema define una distribución multinomial sobre un conjunto de términos. Por lo tanto, para cada palabra de cada documento, se extrae un tema de la mezcla y, posteriormente, se extrae un término de la distribución multinomial correspondiente a ese tema.

Sin embargo, los temas evolucionan con el tiempo. Por ejemplo, los dos términos más probables de un tema en el momento t podrían ser "red" y "Zipf" (en orden descendente), mientras que los más probables en el momento t+1 podrían ser "Zipf" y "percolación" (en orden descendente).

Definir

${\displaystyle \alpha _{t}}$como la distribución de temas por documento en el momento t .

${\displaystyle \beta_{t,k}}$como la distribución de palabras del tema k en el tiempo t .

${\displaystyle \eta_{t,d}}$como la distribución de temas para el documento d en el tiempo t ,

${\displaystyle z_{t,d,n}}$como tema de la n- ésima palabra del documento d en el tiempo t , y

${\displaystyle w_{t,d,n}}$como la palabra específica.

En este modelo, las distribuciones multinomiales y se generan a partir de y , respectivamente. Si bien las distribuciones multinomiales suelen escribirse en términos de los parámetros medios, es mejor representarlas en términos de los parámetros naturales en el contexto de los modelos de temas dinámicos. ${\displaystyle \alpha_{t+1}}$${\displaystyle \beta _ {t+1,k}}$${\displaystyle \alpha _{t}}$${\displaystyle \beta_{t,k}}$

La primera representación tiene algunas desventajas debido al hecho de que los parámetros están restringidos a ser no negativos y sumar uno. ^[2] Al definir la evolución de estas distribuciones, uno necesitaría asegurarse de que tales restricciones se satisfagan. Dado que ambas distribuciones están en la familia exponencial , una solución a este problema es representarlas en términos de los parámetros naturales, que pueden asumir cualquier valor real y pueden cambiarse individualmente.

Utilizando la parametrización natural, la dinámica del modelo de tema está dada por

${\displaystyle \beta_{t,k}|\beta_{t-1,k}\sim N(\beta_{t-1,k},\sigma ^{2}I)}$

y

${\displaystyle \alpha _{t}|\alpha _{t-1}\sim N(\alpha _{t-1},\delta ^{2}I)}$.

Por lo tanto, el proceso generativo en el intervalo de tiempo 't' es:

1. Temas de sorteo${\displaystyle \beta _{t,k}|\beta _{t-1,k}\sim N(\beta _{t-1,k},\sigma ^{2}I)\forall k}$
2. Dibujar modelo de mezcla${\displaystyle \alpha _{t}|\alpha _{t-1}\sim N(\alpha _{t-1},\delta ^{2}I)}$
3. Para cada documento:
   1. Dibujar${\displaystyle \eta_{t,d}\sim N(\alpha_{t},a^{2}I)}$
   2. Para cada palabra:
      1. Tema del sorteo${\displaystyle Z_{t,d,n}\sim {\textrm {Mult}}(\pi (\eta _{t,d}))}$
      2. Dibujar palabra${\displaystyle W_{t,d,n}\sim {\textrm {Mult}}(\pi (\beta _{t,Z_{t,d,n}}))}$

donde es una aplicación de la parametrización natural x a la parametrización media, es decir ${\displaystyle \pi(x)}$

${\displaystyle \pi(x_{i})={\frac {\exp(x_{i})}{\sum _{i}\exp(x_{i})}}}$.

En el modelo de tópico dinámico, sólo es observable. Aprender los otros parámetros constituye un problema de inferencia. Blei y Lafferty sostienen que aplicar el muestreo de Gibbs para hacer inferencia en este modelo es más difícil que en los modelos estáticos, debido a la no conjugación de las distribuciones gaussiana y multinomial. Proponen el uso de métodos variacionales , en particular, el filtrado de Kalman variacional y la regresión wavelet variacional. $Estilo de visualización W_{t,d,n}}$

En el artículo original, se aplica un modelo de temas dinámicos al corpus de artículos científicos publicados entre 1881 y 1999 con el objetivo de demostrar que este método puede utilizarse para analizar las tendencias de uso de palabras dentro de los temas. ^[1] Los autores también muestran que el modelo entrenado con documentos pasados ​​puede ajustarse mejor a los documentos de un año entrante que LDA.

Wang et al. desarrollaron un modelo de tema dinámico continuo y lo aplicaron para predecir la marca de tiempo de los documentos. ^[3]

Más allá de los documentos de texto, se utilizaron modelos temáticos dinámicos para estudiar la influencia musical, aprendiendo temas musicales y cómo evolucionan en la historia reciente. ^[4]