red bayesiana

Dado que una red bayesiana constituye un modelo completo para sus variables y sus relaciones, puede utilizarse para responder a consultas probabilísticas sobre ellas. Por ejemplo, la red puede emplearse para actualizar el conocimiento del estado de un subconjunto de variables cuando se observan otras variables (las variables de evidencia ). Este proceso de cálculo de la distribución posterior de las variables, dada la evidencia, se denomina inferencia probabilística. La distribución posterior proporciona una estadística suficiente universal para aplicaciones de detección, al elegir valores para el subconjunto de variables que minimicen alguna función de pérdida esperada, como la probabilidad de error de decisión. Por lo tanto, una red bayesiana puede considerarse un mecanismo para aplicar automáticamente el teorema de Bayes a problemas complejos.

Los métodos de inferencia exacta más comunes son: eliminación de variables , que elimina (por integración o suma) las variables no observadas no consultadas una por una distribuyendo la suma sobre el producto; propagación de árbol de clique , que almacena en caché el cálculo para que se puedan consultar muchas variables a la vez y se pueda propagar nueva evidencia rápidamente; y condicionamiento recursivo y búsqueda AND/OR, que permiten un intercambio espacio-tiempo y coinciden con la eficiencia de la eliminación de variables cuando se utiliza suficiente espacio. Todos estos métodos tienen una complejidad que es exponencial en el ancho del árbol de la red . Los algoritmos de inferencia aproximada más comunes son muestreo de importancia , simulación MCMC estocástica , eliminación de minicubetas, propagación de creencias en bucle , propagación de creencias generalizada y métodos variacionales .

Para especificar completamente la red bayesiana y, por lo tanto, representar completamente la distribución de probabilidad conjunta , es necesario especificar para cada nodo X la distribución de probabilidad de X condicionada a sus padres . La distribución de X condicionada a sus padres puede tener cualquier forma. Es común trabajar con distribuciones discretas o gaussianas , ya que esto simplifica los cálculos. A veces, solo se conocen las restricciones de la distribución; entonces se puede usar el principio de máxima entropía para determinar una única distribución, aquella con la mayor entropía dadas las restricciones. (Análogamente, en el contexto específico de una red bayesiana dinámica , la distribución condicional para la evolución temporal del estado oculto se especifica comúnmente para maximizar la tasa de entropía del proceso estocástico implícito).

A menudo, estas distribuciones condicionales incluyen parámetros desconocidos que deben estimarse a partir de datos, por ejemplo, mediante el método de máxima verosimilitud . La maximización directa de la verosimilitud (o de la probabilidad posterior ) suele ser compleja debido a variables no observadas. Un enfoque clásico para este problema es el algoritmo de expectativa-maximización , que alterna el cálculo de los valores esperados de las variables no observadas, condicionados a los datos observados, con la maximización de la verosimilitud completa (o posterior), suponiendo que los valores esperados calculados previamente son correctos. Bajo condiciones de regularidad leves, este proceso converge hacia los valores de máxima verosimilitud (o máxima posterior) para los parámetros.

Un enfoque bayesiano más completo para los parámetros consiste en tratarlos como variables adicionales no observadas y calcular una distribución posterior completa sobre todos los nodos condicionada a los datos observados, para luego integrar los parámetros. Este enfoque puede ser costoso y generar modelos de gran dimensión, lo que hace que los métodos clásicos de ajuste de parámetros sean más manejables.

En el caso más sencillo, un experto define una red bayesiana que luego se utiliza para realizar inferencias. En otras aplicaciones, la tarea de definir la red es demasiado compleja para los humanos. En este caso, la estructura de la red y los parámetros de las distribuciones locales deben aprenderse a partir de los datos.

Aprender automáticamente la estructura gráfica de una red bayesiana (BN) es un desafío que se persigue dentro del aprendizaje automático . La idea básica se remonta a un algoritmo de recuperación desarrollado por Rebane y Pearl ^{[ 7 ]} y se basa en la distinción entre los tres patrones posibles permitidos en un DAG de 3 nodos:

Los dos primeros representan las mismas dependencias (${\displaystyle X}$y${\displaystyle Z}$son independientes dado${\displaystyle Y}$) y son, por lo tanto, indistinguibles. Sin embargo, el colisionador puede identificarse de forma única, ya que${\displaystyle X}$y${\displaystyle Z}$son marginalmente independientes y todos los demás pares son dependientes. Por lo tanto, si bien los esqueletos (los gráficos despojados de flechas) de estas tres ternas son idénticos, la direccionalidad de las flechas es parcialmente identificable. La misma distinción se aplica cuando${\displaystyle X}$y${\displaystyle Z}$tienen padres comunes, excepto que primero se debe condicionar sobre esos padres. Se han desarrollado algoritmos para determinar sistemáticamente el esqueleto del grafo subyacente y, luego, orientar todas las flechas cuya direccionalidad está dictada por las independencias condicionales observadas. ^{[ 2 ] [ 8 ] [ 9 ] [ 10 ]}

Un método alternativo de aprendizaje estructural utiliza una búsqueda basada en optimización. Requiere una función de puntuación y una estrategia de búsqueda. Una función de puntuación común es la probabilidad posterior de la estructura dados los datos de entrenamiento, como el BIC o el BDeu. El tiempo requerido para una búsqueda exhaustiva que devuelva una estructura que maximice la puntuación es superexponencial en el número de variables. Una estrategia de búsqueda local realiza cambios incrementales destinados a mejorar la puntuación de la estructura. Un algoritmo de búsqueda global como el Monte Carlo de cadena de Markov (MCMC) puede evitar quedar atrapado en mínimos locales . Encontrar una estructura que maximice la información mutua , típicamente restringiendo el conjunto de candidatos padres a k nodos ^{[ 11 ] [ 12 ] [ 13 ]} o encontrando un k óptimo en una base de nodo por nodo, ^{[ 14 ]} es una técnica que logra consistentemente puntuaciones altas en conjuntos de datos de referencia.

Un método particularmente rápido para el aprendizaje exacto de BN consiste en plantear el problema como un problema de optimización y resolverlo mediante programación entera . Durante la resolución, se añaden restricciones de aciclicidad al programa entero (PI) en forma de planos de corte . ^{[ 15 ]} Este método puede manejar problemas con hasta 100 variables.

Para abordar problemas con miles de variables, se requiere un enfoque diferente. Uno de ellos consiste en muestrear primero un ordenamiento y luego encontrar la estructura BN óptima con respecto a ese ordenamiento. Esto implica trabajar en el espacio de búsqueda de los posibles ordenamientos, lo cual resulta conveniente ya que es menor que el espacio de estructuras de red. Posteriormente, se muestrean y evalúan múltiples ordenamientos. Este método ha demostrado ser el mejor disponible en la literatura cuando el número de variables es muy grande. ^{[ 16 ]}

Otro método consiste en centrarse en la subclase de modelos descomponibles, para los cuales el MLE tiene una forma cerrada. Entonces es posible descubrir una estructura consistente para cientos de variables. ^{[ 17 ]}

El aprendizaje de redes bayesianas con ancho de árbol limitado es necesario para permitir una inferencia exacta y manejable, ya que la complejidad de la inferencia en el peor de los casos es exponencial en el ancho de árbol k (bajo la hipótesis del tiempo exponencial). Sin embargo, como propiedad global del grafo, aumenta considerablemente la dificultad del proceso de aprendizaje. En este contexto, es posible utilizar K-trees para un aprendizaje efectivo. ^{[ 18 ]}

Dadas las cantidades medidas${\displaystyle x_{1},\dots ,x_{n}\,\!}$cada uno con errores distribuidos normalmente de desviación estándar conocida${\displaystyle \sigma \,\!}$,

${\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2})}$

Supongamos que estamos interesados ​​en estimar la${\displaystyle \theta _{i}}$. Un enfoque sería estimar el${\displaystyle \theta _{i}}$utilizando un enfoque de máxima verosimilitud ; dado que las observaciones son independientes, la verosimilitud se factoriza y la estimación de máxima verosimilitud es simplemente

${\displaystyle \theta _{i}=x_{i}.}$

Sin embargo, si las cantidades están relacionadas, de modo que, por ejemplo, el individuo${\displaystyle \theta _{i}}$Si se han extraído ellos mismos de una distribución subyacente, entonces esta relación destruye la independencia y sugiere un modelo más complejo, por ejemplo,

${\displaystyle x_{i}\sim N(\theta _{i},\sigma ^{2}),}$

${\displaystyle \theta _{i}\sim N(\varphi ,\tau ^{2}),}$

con antecedentes impropios${\displaystyle \varphi \sim {\text{flat}}}$,${\displaystyle \tau \sim {\text{flat}}\in (0,\infty )}$. Cuando${\displaystyle n\geq 3}$, este es un modelo identificado (es decir, existe una solución única para los parámetros del modelo), y las distribuciones posteriores de los individuales${\displaystyle \theta _{i}}$tenderán a alejarse o contraerse de las estimaciones de máxima verosimilitud hacia su media común. Esta contracción es un comportamiento típico en los modelos bayesianos jerárquicos.

Se necesita cierto cuidado al elegir las distribuciones a priori en un modelo jerárquico, particularmente en variables de escala en niveles superiores de la jerarquía, como la variable${\displaystyle \tau \,\!}$En el ejemplo, las distribuciones previas habituales, como la distribución previa de Jeffreys , a menudo no funcionan porque la distribución posterior no será normalizable y las estimaciones realizadas minimizando la pérdida esperada serán inadmisibles .

X es una red bayesiana con respecto a G si su función de densidad de probabilidad conjunta (con respecto a una medida de producto ) puede escribirse como un producto de las funciones de densidad individuales, condicionadas a sus variables parentales: ^{[ 19 ]}

${\displaystyle p(x)=\prod _{v\in V}p\left(x_{v}\,{\big |}\,x_{\operatorname {pa} (v)}\right)}$

donde pa( v ) es el conjunto de padres de v (es decir, aquellos vértices que apuntan directamente a v a través de una sola arista).

Para cualquier conjunto de variables aleatorias, la probabilidad de cualquier miembro de una distribución conjunta se puede calcular a partir de probabilidades condicionales utilizando la regla de la cadena (dado un orden topológico de X ) de la siguiente manera: ^{[ 19 ]}

${\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} \left(X_{v}=x_{v}\mid X_{v+1}=x_{v+1},\ldots ,X_{n}=x_{n}\right)}$

Utilizando la definición anterior, esto se puede escribir como:

${\displaystyle \operatorname {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{v=1}^{n}\operatorname {P} (X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}\,{\text{ that is a parent of }}X_{v}\,)}$

La diferencia entre las dos expresiones radica en la independencia condicional de las variables respecto de cualquiera de sus no descendientes, dados los valores de sus variables progenitoras.

X es una red bayesiana con respecto a G si satisface la propiedad de Markov local : cada variable es condicionalmente independiente de sus no descendientes dadas sus variables progenitoras: ^{[ 20 ]}

${\displaystyle X_{v}\perp \!\!\!\perp X_{V\,\smallsetminus \,\operatorname {de} (v)}\mid X_{\operatorname {pa} (v)}\quad {\text{for all }}v\in V}$

donde de( v ) es el conjunto de descendientes y V  \  de( v ) es el conjunto de no descendientes de v .

Esto puede expresarse en términos similares a la primera definición, como

${\displaystyle {\begin{aligned}&\operatorname {P} (X_{v}=x_{v}\mid X_{i}=x_{i}{\text{ for each }}X_{i}{\text{ that is not a descendant of }}X_{v}\,)\\[6pt]={}&P(X_{v}=x_{v}\mid X_{j}=x_{j}{\text{ for each }}X_{j}{\text{ that is a parent of }}X_{v}\,)\end{aligned}}}$

El conjunto de padres es un subconjunto del conjunto de no descendientes porque el grafo es acíclico .

En general, se sabe que aprender una red bayesiana a partir de datos es NP-difícil . ^{[ 21 ]} Esto se debe en parte a la explosión combinatoria de enumerar DAGs a medida que aumenta el número de variables. Sin embargo, se pueden aprender ideas sobre una red bayesiana subyacente a partir de datos en tiempo polinomial centrándose en su estructura de independencia marginal: ^{[ 22 ]} mientras que las declaraciones de independencia condicional de una distribución modelada por una red bayesiana están codificadas por un DAG (de acuerdo con la factorización y las propiedades de Markov anteriores), sus declaraciones de independencia marginal —las declaraciones de independencia condicional en las que el conjunto de condicionamiento está vacío— están codificadas por un grafo no dirigido simple con propiedades especiales como intersección igual y números de independencia .

El desarrollo de una red bayesiana suele comenzar con la creación de un DAG G tal que X satisfaga la propiedad de Markov local con respecto a G. A veces, se trata de un DAG causal . Se evalúan las distribuciones de probabilidad condicional de cada variable dadas sus variables progenitoras en ^G. En muchos casos, en particular cuando las variables son discretas, si la distribución conjunta de X es el producto de estas distribuciones condicionales, entonces X es una red bayesiana con respecto a G. [ ^{23 ]}

La manta de Markov de un nodo es el conjunto de nodos que incluye a sus padres, sus hijos y cualquier otro padre de sus hijos. La manta de Markov hace que el nodo sea independiente del resto de la red; la distribución conjunta de las variables en la manta de Markov de un nodo es suficiente para calcular la distribución del nodo. X es una red bayesiana con respecto a G si cada nodo es condicionalmente independiente de todos los demás nodos de la red, dada su manta de Markov . ^{[ 20 ]}

Aunque las redes bayesianas se utilizan a menudo para representar relaciones causales , esto no tiene por qué ser así: una arista dirigida de u a v no requiere que X _v dependa causalmente de X _u . Esto se demuestra por el hecho de que las redes bayesianas en los grafos:

${\displaystyle a\rightarrow b\rightarrow c\qquad {\text{and}}\qquad a\leftarrow b\leftarrow c}$

son equivalentes: es decir, imponen exactamente los mismos requisitos de independencia condicional.

Una red causal es una red bayesiana con el requisito de que las relaciones sean causales. La semántica adicional de las redes causales especifica que si un nodo X es provocado activamente a estar en un estado dado x (una acción escrita como do( X  = x )), entonces la función de densidad de probabilidad cambia a la de la red obtenida al cortar los enlaces de los padres de X a X , y establecer X al valor causado x . ^{[ 2 ]} Utilizando esta semántica, se puede predecir el impacto de las intervenciones externas a partir de datos obtenidos antes de la intervención.