Núcleo de Markov

En teoría de probabilidad , un núcleo de Markov (también conocido como núcleo estocástico o núcleo de probabilidad ) es un mapa que en la teoría general de procesos de Markov desempeña el papel que desempeña la matriz de transición en la teoría de procesos de Markov con un espacio de estados finito . ^[1]

Sean y espacios medibles . Un núcleo de Markov con origen y destino , a veces escrito como , es una función con las siguientes propiedades: ${\displaystyle (X,{\mathcal {A}})}$${\displaystyle (Y,{\mathcal {B}})}$${\displaystyle (X,{\mathcal {A}})}$${\displaystyle (Y,{\mathcal {B}})}$${\displaystyle \kappa :(X,{\mathcal {A}})\to (Y,{\mathcal {B}})}$${\displaystyle \kappa :{\mathcal {B}}\times X\to [0,1]}$

1. Para cada (fijo) , el mapa es - medible${\displaystyle B_{0}\en {\mathcal {B}}}$${\displaystyle x\mapsto \kappa (B_{0},x)}$${\displaystyle {\mathcal {A}}}$
2. Para cada (fijo) , el mapa es una medida de probabilidad en${\displaystyle x_{0}\en X}$${\displaystyle B\mapsto \kappa (B,x_{0})}$${\displaystyle (Y,{\mathcal {B}})}$

En otras palabras, asocia a cada punto una medida de probabilidad en tal que, para cada conjunto medible , la función es medible con respecto al -álgebra . ^[2]${\displaystyle x\en X}$ ${\displaystyle \kappa (dy|x):B\mapsto \kappa (B,x)}$${\displaystyle (Y,{\mathcal {B}})}$${\displaystyle B\in {\mathcal {B}}}$${\displaystyle x\mapsto \kappa (B,x)}$${\estilo de visualización \sigma}$${\displaystyle {\mathcal {A}}}$

Tome , y (el conjunto potencia de ). Entonces, un núcleo de Markov está completamente determinado por la probabilidad que asigna a los singletons para cada : ${\displaystyle X=Y=\mathbb {Z} }$${\displaystyle {A}}={\displaystyle {B}}={\displaystyle {P}}(\displaystyle {Z} )}$${\displaystyle \mathbb {Z}}$${\displaystyle \{m\},\,m\en Y=\mathbb {Z} }$${\displaystyle n\in X=\mathbb {Z} }$

${\displaystyle \kappa (B|n)=\sum _{m\in B}\kappa (\{m\}|n),\qquad \forall n\in \mathbb {Z} ,\,\forall B\in {\mathcal {B}}}$.

Ahora bien, el paseo aleatorio que va hacia la derecha con probabilidad y hacia la izquierda con probabilidad se define por ${\estilo de visualización \kappa}$${\estilo de visualización p}$${\estilo de visualización 1-p}$

${\displaystyle \kappa (\{m\}|n)=p\delta _{m,n+1}+(1-p)\delta _{m,n-1},\quad \forall n,m\in \mathbb {Z} }$

donde es el delta de Kronecker . Las probabilidades de transición para el paseo aleatorio son equivalentes al núcleo de Markov. ${\estilo de visualización \delta}$${\displaystyle P(m|n)=\kappa (\{m\}|n)}$

En términos más generales, tomemos tanto contables como . Nuevamente, un núcleo de Markov se define por la probabilidad que asigna a los conjuntos singleton para cada${\estilo de visualización X}$${\estilo de visualización Y}$${\displaystyle {\mathcal {A}}={\mathcal {P}}(X),\ {\mathcal {B}}={\mathcal {P}}(Y)}$${\displaystyle i\en X}$

${\displaystyle \kappa (B|i)=\sum _{j\in B}\kappa (\{j\}|i),\qquad \para todo i\in X,\,\para todo B\in {\mathcal {B}}}$,

Definimos un proceso de Markov definiendo una probabilidad de transición donde los números definen una matriz estocástica (contable), es decir ${\displaystyle P(j|i)=K_{ji}}$$Estilo de visualización K_ {ji}}$ ${\displaystyle (K_{ji})}$

${\displaystyle {\begin{aligned}K_{ji}&\geq 0,\qcuadrado &\para todo (j,i)\en Y\times X,\\\suma _{j\en Y}K_{ji}&=1,\qcuadrado &\para todo i\en X.\\\end{aligned}}}$

Luego definimos

${\displaystyle \kappa (\{j\}|i)=K_{ji}=P(j|i),\qcuadrado \para todo i\en X,\cuadrado \para todo B\en {\mathcal {B}}}$.

Nuevamente la probabilidad de transición, la matriz estocástica y el kernel de Markov son reformulaciones equivalentes.

Sea una medida en , y una función medible con respecto al producto -álgebra tal que ${\estilo de visualización \nu}$${\displaystyle (Y,{\mathcal {B}})}$${\displaystyle k:Y\times X\to [0,\infty ]}$${\estilo de visualización \sigma}$ ${\displaystyle {\mathcal {A}}\otimes {\mathcal {B}}}$

${\displaystyle \int _{Y}k(y,x)\nu (\mathrm {d} y)=1,\qquad \forall x\in X}$,

entonces es decir el mapeo ${\displaystyle \kappa (dy|x)=k(y,x)\nu (dy)}$

${\displaystyle {\begin{cases}\kappa :{\mathcal {B}}\times X\to [0,1]\\\kappa (B|x)=\int _{B}k(y,x)\nu (\mathrm {d} y)\end{cases}}}$

define un núcleo de Markov. ^[3] Este ejemplo generaliza el ejemplo del proceso contable de Markov donde era la medida de conteo . Además, abarca otros ejemplos importantes como los núcleos de convolución, en particular los núcleos de Markov definidos por la ecuación del calor. El último ejemplo incluye el núcleo gaussiano con la medida de Lebesgue estándar y ${\estilo de visualización \nu}$${\displaystyle X=Y=\mathbb {R}}$${\displaystyle \nu(dx)=dx}$

${\displaystyle k_{t}(y,x)={\frac {1}{{\sqrt {2\pi }}t}}e^{-(yx)^{2}/(2t^{2})}}$.

Tome espacios medibles arbitrarios y sea una función medible. Ahora defina ie ${\displaystyle (X,{\mathcal {A}})}$${\displaystyle (Y,{\mathcal {B}})}$${\displaystyle f:X\to Y}$${\displaystyle \kappa (dy|x)=\delta _ {f(x)}(dy)}$

${\displaystyle \kappa (B|x)=\mathbf {1} _{B}(f(x))=\mathbf {1} _{f^{-1}(B)}(x)={\ comenzar{casos}1&{\text{if }}f(x)\in B\\0&{\text{de lo contrario}}\end{casos}}}$Para todos .${\displaystyle B\in {\mathcal {B}}}$

Tenga en cuenta que la función del indicador es medible para todos si y solo si es medible. ${\displaystyle \mathbf {1}_{f^{-1}(B)}}$${\displaystyle {\mathcal {A}}}$${\displaystyle B\in {\mathcal {B}}}$${\estilo de visualización f}$

Este ejemplo nos permite pensar en un núcleo de Markov como una función generalizada con un valor (en general) aleatorio en lugar de seguro. Es decir, es una función multivaluada donde los valores no tienen el mismo peso.

Como ejemplo menos obvio, tomemos , y los números reales con el álgebra sigma estándar de conjuntos de Borel . Entonces ${\displaystyle X=\mathbb {N},{\mathcal {A}}={\mathcal {P}}(\mathbb {N})}$${\displaystyle (Y,{\mathcal {B}})}$${\displaystyle \mathbb {R}}$

${\displaystyle \kappa (B|n)={\begin{cases}\mathbf {1} _{B}(0)&n=0\\\Pr(\xi _{1}+\cdots +\xi _{x}\in B)&n\neq 0\\\end{cases}}}$

donde es el número de elementos en el estado , son variables aleatorias iid (generalmente con media 0) y donde es la función indicadora. Para el caso simple de lanzamientos de monedas, esto modela los diferentes niveles de un tablero de Galton . ${\displaystyle x}$${\displaystyle n}$${\displaystyle \xi _{i}}$ ${\displaystyle \mathbf {1} _{B}}$

Dados espacios mensurables , consideramos un núcleo de Markov como un morfismo . Intuitivamente, en lugar de asignar a cada uno un punto claramente definido, el núcleo asigna un punto "difuso" en el que sólo se conoce con cierto nivel de incertidumbre, de forma muy similar a las mediciones físicas reales. Si tenemos un tercer espacio mensurable y núcleos de probabilidad y , podemos definir una composición mediante la ecuación de Chapman-Kolmogorov${\displaystyle (X,{\mathcal {A}})}$${\displaystyle (Y,{\mathcal {B}})}$${\displaystyle \kappa :{\mathcal {B}}\times X\to [0,1]}$${\displaystyle \kappa :X\to Y}$${\displaystyle x\in X}$${\displaystyle y\in Y}$${\displaystyle Y}$${\displaystyle (Z,{\mathcal {C}})}$${\displaystyle \kappa :X\to Y}$${\displaystyle \lambda :Y\to Z}$${\displaystyle \lambda \circ \kappa :X\to Z}$

${\displaystyle (\lambda \circ \kappa )(dz|x)=\int _{Y}\lambda (dz|y)\kappa (dy|x)}$.

La composición es asociativa por el Teorema de Convergencia Monótona y la función identidad considerada como un núcleo de Markov (es decir, la medida delta ) es la unidad para esta composición. ${\displaystyle \kappa _{1}(dx'|x)=\delta _{x}(dx')}$

Esta composición define la estructura de una categoría en los espacios medibles con núcleos de Markov como morfismos, definidos por primera vez por Lawvere, ^[4] la categoría de núcleos de Markov .

Una composición de un espacio de probabilidad y un núcleo de probabilidad define un espacio de probabilidad , donde la medida de probabilidad está dada por ${\displaystyle (X,{\mathcal {A}},P_{X})}$${\displaystyle \kappa :(X,{\mathcal {A}})\to (Y,{\mathcal {B}})}$${\displaystyle (Y,{\mathcal {B}},P_{Y}=\kappa \circ P_{X})}$

${\displaystyle P_{Y}(B)=\int _{X}\int _{B}\kappa (dy|x)P_{X}(dx)=\int _{X}\kappa (B|x)P_{X}(dx)=\mathbb {E} _{P_{X}}\kappa (B|\cdot ).}$

Sea un espacio de probabilidad y un núcleo de Markov de a algún . Entonces existe una medida única en , tal que: ${\displaystyle (X,{\mathcal {A}},P)}$${\displaystyle \kappa }$${\displaystyle (X,{\mathcal {A}})}$${\displaystyle (Y,{\mathcal {B}})}$${\displaystyle Q}$${\displaystyle (X\times Y,{\mathcal {A}}\otimes {\mathcal {B}})}$

${\displaystyle Q(A\times B)=\int _{A}\kappa (B|x)\,P(dx),\quad \forall A\in {\mathcal {A}},\quad \forall B\in {\mathcal {B}}.}$

Sea un espacio de Borel , una variable aleatoria valuada en el espacio de medida y una subálgebra . Entonces existe un núcleo de Markov de a , tal que es una versión de la esperanza condicional para cada , es decir ${\displaystyle (S,Y)}$${\displaystyle X}$${\displaystyle (S,Y)}$${\displaystyle (\Omega ,{\mathcal {F}},P)}$${\displaystyle {\mathcal {G}}\subseteq {\mathcal {F}}}$${\displaystyle \sigma }$${\displaystyle \kappa }$${\displaystyle (\Omega ,{\mathcal {G}})}$${\displaystyle (S,Y)}$${\displaystyle \kappa (\cdot ,B)}$ ${\displaystyle \mathbb {E} [\mathbf {1} _{\{X\in B\}}\mid {\mathcal {G}}]}$${\displaystyle B\in Y}$

${\displaystyle P(X\in B\mid {\mathcal {G}})=\mathbb {E} \left[\mathbf {1} _{\{X\in B\}}\mid {\mathcal {G}}\right]=\kappa (\cdot ,B),\qquad P{\text{-a.s.}}\,\,\forall B\in {\mathcal {G}}.}$

Se llama distribución condicional regular de datos y no está definida de forma única. ${\displaystyle X}$${\displaystyle {\mathcal {G}}}$

Los núcleos de transición generalizan los núcleos de Markov en el sentido de que para todos , el mapa ${\displaystyle x\in X}$

${\displaystyle B\mapsto \kappa (B|x)}$

Puede ser cualquier tipo de medida (no negativa), no necesariamente una medida de probabilidad.

• Núcleo de Markov en nLab.

• Bauer, Heinz (1996), Teoría de la probabilidad , de Gruyter, ISBN 3-11-013935-9

§36. Núcleos y semigrupos de núcleos

• Categoría de núcleos de Markov