modelo de Markov

En teoría de la probabilidad , un modelo de Markov es un modelo estocástico utilizado para modelar sistemas que cambian de forma pseudoaleatoria. Se asume que los estados futuros dependen únicamente del estado actual, no de los eventos que ocurrieron con anterioridad (es decir, se asume la propiedad de Markov ). Generalmente, esta suposición permite realizar razonamientos y cálculos con el modelo que de otro modo serían intratables . Por esta razón, en los campos de la modelización predictiva y la previsión probabilística , es deseable que un modelo dado presente la propiedad de Markov.

Andrey Andreyevich Markov (14 de junio de 1856 – 20 de julio de 1922) fue un matemático ruso conocido principalmente por su trabajo sobre procesos estocásticos. Un tema central de su investigación se conoció posteriormente como la cadena de Markov. Existen cuatro modelos de Markov comunes que se utilizan en diferentes situaciones, dependiendo de si cada estado secuencial es observable o no, y de si el sistema debe ajustarse en función de las observaciones realizadas:

El modelo de Markov más simple es la cadena de Markov . Modela el estado de un sistema con una variable aleatoria que cambia con el tiempo. En este contexto, la propiedad de Markov indica que la distribución de esta variable depende únicamente de la distribución de un estado anterior. Un ejemplo de uso de una cadena de Markov es el método de Monte Carlo de cadena de Markov , que utiliza la propiedad de Markov para demostrar que un método particular para realizar un paseo aleatorio muestreará de la distribución conjunta .

Un modelo oculto de Markov es una cadena de Markov cuyo estado es solo parcialmente observable o con ruido. En otras palabras, las observaciones están relacionadas con el estado del sistema, pero suelen ser insuficientes para determinarlo con precisión. Existen varios algoritmos conocidos para modelos ocultos de Markov. Por ejemplo, dada una secuencia de observaciones, el algoritmo de Viterbi calcula la secuencia de estados correspondiente más probable, el algoritmo de avance calcula la probabilidad de la secuencia de observaciones y el algoritmo de Baum-Welch estima las probabilidades iniciales, la función de transición y la función de observación del modelo oculto de Markov.

Un uso común es el reconocimiento de voz , donde los datos observados son la forma de onda del audio y el estado oculto es el texto hablado. En este ejemplo, el algoritmo de Viterbi encuentra la secuencia de palabras habladas más probable a partir del audio.

Un proceso de decisión de Markov es una cadena de Markov en la que las transiciones de estado dependen del estado actual y de un vector de acciones aplicado al sistema. Normalmente, un proceso de decisión de Markov se utiliza para calcular una política de acciones que maximice alguna utilidad con respecto a las recompensas esperadas.

Un proceso de decisión de Markov parcialmente observable (POMDP) ​​es un proceso de decisión de Markov en el que el estado del sistema solo se observa parcialmente. Se sabe que los POMDP son NP-completos , pero las técnicas de aproximación recientes los han hecho útiles para diversas aplicaciones, como el control de agentes simples o robots. ^{[ 1 ]}

Un campo aleatorio de Markov , o red de Markov, puede considerarse una generalización de una cadena de Markov en múltiples dimensiones. En una cadena de Markov, el estado depende únicamente del estado anterior en el tiempo, mientras que en un campo aleatorio de Markov, cada estado depende de sus vecinos en múltiples direcciones. Un campo aleatorio de Markov puede visualizarse como un campo o grafo de variables aleatorias, donde la distribución de cada variable aleatoria depende de las variables vecinas con las que está conectada. Más específicamente, la distribución conjunta de cualquier variable aleatoria en el grafo puede calcularse como el producto de los "potenciales de clique" de todos los cliques del grafo que contienen dicha variable aleatoria. Modelar un problema como un campo aleatorio de Markov es útil porque implica que las distribuciones conjuntas en cada vértice del grafo pueden calcularse de esta manera.

Los modelos jerárquicos de Markov se pueden aplicar para categorizar el comportamiento humano en varios niveles de abstracción. Por ejemplo, una serie de observaciones simples, como la ubicación de una persona en una habitación, se pueden interpretar para determinar información más compleja, como la tarea o actividad que está realizando. Dos tipos de modelos jerárquicos de Markov son el modelo oculto de Markov jerárquico ^{[ 2 ]} y el modelo oculto de Markov abstracto ^{[ 3 ]} . Ambos se han utilizado para el reconocimiento de comportamiento ^{[ 4 ] y ciertas propiedades de independencia condicional entre los} diferentes niveles de abstracción del modelo permiten un aprendizaje e inferencia más rápidos ^{[ 3 , 5 ] .}

Un modelo de Markov tolerante (TMM) es un modelo de cadena de Markov probabilístico-algorítmico. ^{[ 6 ]} Asigna las probabilidades según un contexto de condicionamiento que considera el último símbolo de la secuencia como el más probable, en lugar del símbolo que realmente ocurre. Un TMM puede modelar tres tipos diferentes de sustituciones, adiciones o deleciones. Se han implementado con éxito aplicaciones en la compresión de secuencias de ADN. ^{[ 6 ] [ 7 ]}

Las cadenas de Markov se han utilizado como métodos de pronóstico para diversos temas, por ejemplo, tendencias de precios, ^{[ 8 ]} energía eólica ^{[ 9 ]} e irradiancia solar . ^{[ 10 ]} Los modelos de pronóstico de cadenas de Markov utilizan una variedad de configuraciones diferentes, desde la discretización de la serie temporal ^{[ 9 ]} hasta modelos ocultos de Markov combinados con ondículas ^{[ 8 ]} y el modelo de distribución de mezcla de cadenas de Markov (MCM). ^{[ 10 ]}

• Cadena de Markov Monte Carlo
• manta de Markov
• Andrey Markov
• Modelo de Markov de orden variable