proceso de renovación de Markov

Los procesos de renovación de Markov son una clase de procesos aleatorios en probabilidad y estadística que generalizan la clase de procesos de salto de Markov . Otras clases de procesos aleatorios, como las cadenas de Markov y los procesos de Poisson , pueden derivarse como casos especiales dentro de la clase de procesos de renovación de Markov, mientras que los procesos de renovación de Markov son casos especiales dentro de la clase más general de procesos de renovación .

En el contexto de un proceso de salto que toma estados en un espacio de estados${\displaystyle \mathrm {S} }$Consideremos el conjunto de variables aleatorias.${\displaystyle (X_{n},T_{n})}$, dónde${\displaystyle T_{n}}$representa los tiempos de salto y${\displaystyle X_{n}}$representa los estados asociados en la secuencia de estados (ver figura). Sea la secuencia de tiempos entre llegadas${\displaystyle \tau _{n}=T_{n}-T_{n-1}}$. Para que la secuencia${\displaystyle (X_{n},T_{n})}$Para que un proceso se considere de renovación de Markov, debe cumplirse la siguiente condición:

${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}}$

1. Dejar${\displaystyle X_{n}}$y${\displaystyle T_{n}}$ser como se define en la declaración anterior. Definir un nuevo proceso estocástico${\displaystyle Y_{t}:=X_{n}}$para${\displaystyle t\in [T_{n},T_{n+1})}$, luego el proceso${\displaystyle Y_{t}}$Se denomina proceso semi-Markoviano porque ocurre en una cadena de Markov de tiempo continuo . El proceso es markoviano solo en los instantes de salto especificados, lo que justifica el nombre de semi -Markoviano. ^{[ 1 ] [ 2 ] [ 3 ]} (Véase también: modelo semi-Markoviano oculto ).
2. Un proceso semi-Markoviano (definido en el punto anterior) en el que todos los tiempos de espera siguen una distribución exponencial se denomina cadena de Markov de tiempo continuo . En otras palabras, si los tiempos entre llegadas siguen una distribución exponencial y si el tiempo de espera en un estado y el tiempo alcanzado en el siguiente estado son independientes, tenemos una cadena de Markov de tiempo continuo.

   ${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ para todo }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}}$

3. La secuencia${\displaystyle X_{n}}$En el proceso de renovación de Markov, se trata de una cadena de Markov de tiempo discreto . En otras palabras, si se ignoran las variables de tiempo en la ecuación del proceso de renovación de Markov, obtenemos una cadena de Markov de tiempo discreto .

   ${\displaystyle \Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,i,j\in \mathrm {S} }$

4. Si la secuencia de${\displaystyle \tau }$s es independiente e idénticamente distribuida, y si su distribución no depende del estado${\displaystyle X_{n}}$, entonces el proceso es una renovación . Entonces, si se ignoran los estados y tenemos una cadena de tiempos i.i.d., entonces tenemos un proceso de renovación.

   ${\displaystyle \Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t)\,\forall n\geq 1,\forall t\geq 0}$

• proceso de Markov
• Teoría de la renovación
• Modelo de Markov de orden variable
• modelo semi-Markov oculto