núcleo de Markov

Llevar${\displaystyle X=Y=\mathbb {Z} }$, y${\displaystyle {\mathcal {A}}={\mathcal {B}}={\mathcal {P}}(\mathbb {Z} )}$(el conjunto de potencias de${\displaystyle \mathbb {Z} }$). Entonces, un núcleo de Markov está completamente determinado por la probabilidad que asigna a los elementos únicos.${\displaystyle \{m\},\,m\in Y=\mathbb {Z} }$para cada${\displaystyle n\in X=\mathbb {Z} }$:

${\displaystyle \kappa (B|n)=\sum _{m\in B}\kappa (\{m\}|n),\qquad \forall n\in \mathbb {Z} ,\,\forall B\in {\mathcal {B}}}$.

Ahora el paseo aleatorio ${\displaystyle \kappa }$ que va hacia la derecha con probabilidad${\displaystyle p}$ y a la izquierda con probabilidad${\displaystyle 1-p}$se define por

${\displaystyle \kappa (\{m\}|n)=p\delta _{m,n+1}+(1-p)\delta _{m,n-1},\quad \forall n,m\in \mathbb {Z} }$

dónde${\displaystyle \delta }$es la delta de Kronecker . Las probabilidades de transición${\displaystyle P(m|n)=\kappa (\{m\}|n)}$para el paseo aleatorio son equivalentes al núcleo de Markov.

En términos más generales, tome${\displaystyle X}$y${\displaystyle Y}$ambos contables y${\displaystyle {\mathcal {A}}={\mathcal {P}}(X),\ {\mathcal {B}}={\mathcal {P}}(Y)}$. Nuevamente, un núcleo de Markov se define por la probabilidad que asigna a los conjuntos unitarios para cada${\displaystyle i\in X}$

${\displaystyle \kappa (B|i)=\sum _{j\in B}\kappa (\{j\}|i),\qquad \forall i\in X,\,\forall B\in {\mathcal {B}}}$,

Definimos un proceso de Markov definiendo una probabilidad de transición.${\displaystyle P(j|i)=K_{ji}}$donde los números${\displaystyle K_{ji}}$definir una matriz estocástica (contable)${\displaystyle (K_{ji})}$es decir

${\displaystyle {\begin{aligned}K_{ji}&\geq 0,\qquad &\forall (j,i)\in Y\times X,\\\sum _{j\in Y}K_{ji}&=1,\qquad &\forall i\in X.\\\end{aligned}}}$

Luego definimos

${\displaystyle \kappa (\{j\}|i)=K_{ji}=P(j|i),\qquad \forall i\in X,\quad \forall B\in {\mathcal {B}}}$.

Nuevamente, la probabilidad de transición, la matriz estocástica y el núcleo de Markov son reformulaciones equivalentes.

Dejar${\displaystyle \nu }$ser una medida en${\displaystyle (Y,{\mathcal {B}})}$, y${\displaystyle k:Y\times X\to [0,\infty ]}$una función medible con respecto al producto${\displaystyle \sigma }$-álgebra${\displaystyle {\mathcal {A}}\otimes {\mathcal {B}}}$de tal manera que

${\displaystyle \int _{Y}k(y,x)\nu (\mathrm {d} y)=1,\qquad \forall x\in X}$,

entonces${\displaystyle \kappa (dy|x)=k(y,x)\nu (dy)}$es decir, el mapeo

${\displaystyle {\begin{cases}\kappa$ :{\mathcal {B}}\times X\to [0,1]\\\kappa (B|x)=\int _{B}k(y,x)\nu (\mathrm {d} y)\end{cases}}}

define un núcleo de Markov. ^{[ 3 ]} Este ejemplo generaliza el ejemplo del proceso de Markov contable donde${\displaystyle \nu }$era la medida de conteo . Además, abarca otros ejemplos importantes como los núcleos de convolución, en particular los núcleos de Markov definidos por la ecuación del calor . Este último ejemplo incluye el núcleo gaussiano en${\displaystyle X=Y=\mathbb {R} }$con${\displaystyle \nu (dx)=dx}$Medida estándar de Lebesgue y

${\displaystyle k_{t}(y,x)={\frac {1}{{\sqrt {2\pi }}t}}e^{-(y-x)^{2}/(2t^{2})}.}$

Llevar${\displaystyle (X,{\mathcal {A}})}$y${\displaystyle (Y,{\mathcal {B}})}$espacios medibles arbitrarios, y dejemos${\displaystyle f:X\to Y}$ser una función medible. Ahora defina${\displaystyle \kappa (dy|x)=\delta _{f(x)}(dy)}$es decir

${\displaystyle \kappa (B|x)=\mathbf {1} _{B}(f(x))=\mathbf {1} _{f^{-1}(B)}(x)={\begin{cases}1&{\text{if }}f(x)\in B\\0&{\text{otherwise}}\end{cases}}}$a pesar de${\displaystyle B\in {\mathcal {B}}}$.

Tenga en cuenta que la función indicadora${\displaystyle \mathbf {1} _{f^{-1}(B)}}$es${\displaystyle {\mathcal {A}}}$-medible para todos${\displaystyle B\in {\mathcal {B}}}$si y solo si${\displaystyle f}$es medible.

Este ejemplo nos permite concebir un núcleo de Markov como una función generalizada con un valor (en general) aleatorio en lugar de un valor fijo. Es decir, se trata de una función multivaluada donde los valores no tienen el mismo peso.

Como ejemplo menos obvio, tomemos${\displaystyle X=\mathbb {N} ,{\mathcal {A}}={\mathcal {P}}(\mathbb {N} )}$, y${\displaystyle (Y,{\mathcal {B}})}$los números reales${\displaystyle \mathbb {R} }$con el álgebra sigma estándar de conjuntos de Borel . Entonces

${\displaystyle \kappa (B|n)={\begin{cases}\mathbf {1} _{B}(0)&n=0\\\Pr(\xi _{1}+\cdots +\xi _{x}\in B)&n\neq 0\\\end{cases}}}$

dónde${\displaystyle x}$es el número de elementos en el estado${\displaystyle n}$,${\displaystyle \xi _{i}}$ son variables aleatorias i.i.d. (generalmente con media 0) y donde${\displaystyle \mathbf {1} _{B}}$es la función indicadora . Para el caso simple de lanzamientos de moneda, esto modela los diferentes niveles de un tablero de Galton .

Dejar${\displaystyle (X,{\mathcal {A}},P)}$sea ​​un espacio de probabilidad y ${\displaystyle \kappa }$un núcleo de Markov de ${\displaystyle (X,{\mathcal {A}})}$para algunos${\displaystyle (Y,{\mathcal {B}})}$Entonces existe una medida única ${\displaystyle Q}$en ${\displaystyle (X\times Y,{\mathcal {A}}\otimes {\mathcal {B}})}$, de tal manera que:

${\displaystyle Q(A\times B)=\int _{A}\kappa (B|x)\,P(dx),\quad \forall A\in {\mathcal {A}},\quad \forall B\in {\mathcal {B}}.}$

Dejar${\displaystyle (S,Y)}$ser un espacio Borel ,${\displaystyle X}$a${\displaystyle (S,Y)}$variable aleatoria con valor en el espacio de medidas${\displaystyle (\Omega ,{\mathcal {F}},P)}$y${\displaystyle {\mathcal {G}}\subseteq {\mathcal {F}}}$un sub-${\displaystyle \sigma }$-álgebra. Entonces existe un núcleo de Markov${\displaystyle \kappa }$de${\displaystyle (\Omega ,{\mathcal {G}})}$a${\displaystyle (S,Y)}$, de tal manera que${\displaystyle \kappa (\cdot ,B)}$es una versión de la expectativa condicional${\displaystyle \mathbb {E} [\mathbf {1} _{\{X\in B\}}\mid {\mathcal {G}}]}$por cada${\displaystyle B\in Y}$, es decir

${\displaystyle P(X\in B\mid {\mathcal {G}})=\mathbb {E} \left[\mathbf {1} _{\{X\in B\}}\mid {\mathcal {G}}\right]=\kappa (\cdot ,B),\qquad P{\text{-a.s.}}\,\,\forall B\in Y.}$

Se denomina distribución condicional regular de${\displaystyle X}$dado${\displaystyle {\mathcal {G}}}$y no está definido de forma única.