Parámetro de concentración

En teoría de probabilidad y estadística , un parámetro de concentración es un tipo especial de parámetro numérico de una familia paramétrica de distribuciones de probabilidad . Los parámetros de concentración se dan en dos tipos de distribución: en la distribución de von Mises-Fisher y en conjunción con distribuciones cuyo dominio es una distribución de probabilidad, como la distribución simétrica de Dirichlet y el proceso de Dirichlet . El resto de este artículo se centra en este último uso.

Cuanto mayor sea el valor del parámetro de concentración, más uniformemente distribuida estará la distribución resultante (más tenderá hacia la distribución uniforme ). Cuanto menor sea el valor del parámetro de concentración, más dispersa será la distribución resultante, y la mayoría de los valores o rangos de valores tendrán una probabilidad cercana a cero (en otras palabras, más tenderá hacia una distribución concentrada en un único punto, la distribución degenerada definida por la función delta de Dirac ).

En el caso de distribuciones de Dirichlet multivariadas, existe cierta confusión sobre cómo definir el parámetro de concentración. En la literatura sobre modelado de temas, a menudo se define como la suma de los parámetros de Dirichlet individuales, ^[1] cuando se analizan distribuciones de Dirichlet simétricas (donde los parámetros son los mismos para todas las dimensiones) a menudo se define como el valor del único parámetro de Dirichlet utilizado en todas las dimensiones ^{[ cita requerida ]} . Esta segunda definición es menor por un factor de la dimensión de la distribución.

Un parámetro de concentración de 1 (o k , la dimensión de la distribución de Dirichlet, por la definición utilizada en la literatura de modelado de temas) da como resultado que todos los conjuntos de probabilidades sean igualmente probables, es decir, en este caso la distribución de Dirichlet de dimensión k es equivalente a una distribución uniforme sobre un símplex de k-1 dimensiones . Esto no es lo mismo que lo que sucede cuando el parámetro de concentración tiende hacia el infinito. En el primer caso, todas las distribuciones resultantes son igualmente probables (la distribución sobre distribuciones es uniforme). En el último caso, solo las distribuciones casi uniformes son probables (la distribución sobre distribuciones es altamente puntiaguda alrededor de la distribución uniforme). Mientras tanto, en el límite, a medida que el parámetro de concentración tiende hacia cero, solo las distribuciones con casi toda la masa concentrada en uno de sus componentes son probables (la distribución sobre distribuciones es altamente puntiaguda alrededor de las k posibles distribuciones delta de Dirac centradas en uno de los componentes, o en términos del símplex de k -dimensionales, es altamente puntiaguda en las esquinas del símplex).

Un ejemplo de dónde se requiere una distribución a priori dispersa (parámetro de concentración mucho menor que 1) es considerar un modelo de temas , que se utiliza para aprender los temas que se discuten en un conjunto de documentos, donde cada "tema" se describe utilizando una distribución categórica sobre un vocabulario de palabras. Un vocabulario típico podría tener 100.000 palabras, lo que lleva a una distribución categórica de 100.000 dimensiones. La distribución a priori para los parámetros de la distribución categórica probablemente sería una distribución de Dirichlet simétrica . Sin embargo, un tema coherente podría tener solo unos pocos cientos de palabras con una masa de probabilidad significativa. En consecuencia, un valor razonable para el parámetro de concentración podría ser 0,01 o 0,001. Con un vocabulario más grande de alrededor de 1.000.000 de palabras, un valor incluso más pequeño, por ejemplo 0,0001, podría ser apropiado.

• Distribución de Dirichlet
• Proceso de Dirichlet
• Proceso Pitman-Yor
• Parámetro de ubicación
• Parámetro de escala