Función de creencia lineal

Las funciones de creencia lineales son una extensión de la teoría de funciones de creencia de Dempster-Shafer al caso en que las variables de interés son continuas . Ejemplos de dichas variables incluyen los precios de los activos financieros, el rendimiento de las carteras y otras variables antecedentes y consecuentes. La teoría fue propuesta originalmente por Arthur P. Dempster ^{[ 1 ]} en el contexto de los filtros de Kalman y posteriormente fue desarrollada, refinada y aplicada a la representación del conocimiento en inteligencia artificial y a la toma de decisiones en finanzas y contabilidad por Liping Liu ^{[ 2 ] .}

Una función de creencia lineal pretende representar nuestra creencia sobre la ubicación del valor verdadero de la siguiente manera: Estamos seguros de que la verdad se encuentra en un hiperplano de certeza , pero desconocemos su ubicación exacta; a lo largo de algunas dimensiones de este hiperplano, creemos que el valor verdadero podría estar en cualquier punto entre –∞ y +∞, y la probabilidad de que se encuentre en una ubicación particular se describe mediante una distribución normal ; a lo largo de otras dimensiones, nuestro conocimiento es nulo , es decir, el valor verdadero se encuentra en algún punto entre –∞ y +∞, pero se desconoce la probabilidad asociada. En general, una función de creencia se define mediante una función de masa sobre una clase de elementos focales , que pueden tener intersecciones no vacías. Una función de creencia lineal es un tipo especial de función de creencia, ya que sus elementos focales son subhiperplanos paralelos y exclusivos sobre el hiperplano de certeza, y su función de masa es una distribución normal sobre dichos subhiperplanos.

Basándose en la descripción geométrica anterior, Shafer ^{[ 3 ]} y Liu ^{[ 4 ]} proponen dos representaciones matemáticas de una LBF: un producto interno en sentido amplio y un funcional lineal en el espacio de variables, y como sus duales sobre un hiperplano en el espacio muestral . Monney ^{[ 5 ]} propone otra estructura denominada sugerencias gaussianas. Si bien estas representaciones son matemáticamente elegantes, tienden a ser inadecuadas para la representación del conocimiento en sistemas expertos.

Una función de creencia lineal puede representar tanto el conocimiento lógico como el probabilístico para tres tipos de variables: deterministas, como las observables o controlables; aleatorias, cuya distribución es normal; y vacías, sobre las que no existe conocimiento. El conocimiento lógico se representa mediante ecuaciones lineales o, geométricamente, mediante un hiperplano de certeza. El conocimiento probabilístico se representa mediante una distribución normal en todos los elementos focales paralelos.

En general, supongamos que X es un vector de múltiples variables normales con media μ y matriz de covarianza Σ. Entonces, la distribución normal multivariada puede representarse de forma equivalente como una matriz de momentos:

${\displaystyle M(X)=\left({\begin{array}{*{20}c}\mu \\\Sigma \end{array}}\right).}$

Si la distribución no es degenerada, es decir, Σ tiene rango completo y existe su inversa, la matriz de momentos se puede barrer completamente:

${\displaystyle M({\vec {X}})=\left({\begin{array}{*{20}c}\mu \Sigma ^{-1}\\-\Sigma ^{-1}\end{array}}\right)}$

Excepto por la constante de normalización, la ecuación anterior determina completamente la función de densidad normal para X. Por lo tanto, representa la distribución de probabilidad de X en forma potencial. ${\displaystyle M({\vec {X}})}$

Estas dos matrices simples nos permiten representar tres casos especiales de funciones de creencia lineales. Primero, para una distribución de probabilidad normal ordinaria, M(X) la representa. Segundo, supongamos que se realiza una observación directa sobre X y se obtiene un valor μ. En este caso, como no hay incertidumbre, tanto la varianza como la covarianza se anulan, es decir, Σ = 0. Por lo tanto, una observación directa puede representarse como:

${\displaystyle M(X)=\left({\begin{array}{*{20}c}\mu \\0\end{array}}\right)}$

En tercer lugar, supongamos que uno desconoce por completo X. Este es un caso muy espinoso en la estadística bayesiana, ya que la función de densidad no existe. Al utilizar la matriz de momentos completamente barrida, representamos las funciones de creencia lineales vacías como una matriz cero en la forma barrida que se muestra a continuación:

${\displaystyle M({\vec {X}})=\left[{\begin{array}{*{20}c}0\\0\end{array}}\right]}$

Una forma de entender la representación es imaginar la ignorancia total como el caso límite cuando la varianza de X tiende a infinito, donde se puede demostrar que Σ ⁻¹ = 0 y, por lo tanto, se anula. Sin embargo, la ecuación anterior no es lo mismo que una distribución a priori impropia o una distribución normal con varianza infinita. De hecho, no corresponde a ninguna distribución de probabilidad única. Por esta razón, una mejor manera es entender las funciones de creencia lineales vacías como el elemento neutral para la combinación (véase más adelante). ${\displaystyle M({\vec {X}})}$

Para representar los tres casos especiales restantes, necesitamos el concepto de barrido parcial. A diferencia de un barrido completo, un barrido parcial es una transformación sobre un subconjunto de variables. Supongamos que X e Y son dos vectores de variables normales con la matriz de momentos conjuntos:

${\displaystyle M(X,Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}\mu _{1}\\\Sigma _{11}\\\Sigma _{21}\end{array}}&{\begin{array}{*{20}c}\mu _{2}\\\Sigma _{12}\\\Sigma _{22}\end{array}}\end{array}}\right]}$

Entonces, M(X, Y) puede ser parcialmente barrido. Por ejemplo, podemos definir el barrido parcial en X de la siguiente manera:

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}\mu _{1}(\Sigma _{11})^{-1}\\-(\Sigma _{11})^{-1}\\\Sigma _{21}(\Sigma _{11})^{-1}\end{array}}&{\begin{array}{*{20}c}\mu _{2}-\mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}\\(\Sigma _{11})^{-1}\Sigma _{12}\\\Sigma _{22}-\Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}\end{array}}\end{array}}\right]}$

Si X es unidimensional, un barrido parcial reemplaza la varianza de X por su inverso negativo y multiplica este último por otros elementos. Si X es multidimensional, la operación implica el inverso de la matriz de covarianza de X y otras multiplicaciones. Una matriz barrida obtenida mediante un barrido parcial en un subconjunto de variables puede obtenerse de forma equivalente mediante una secuencia de barridos parciales en cada variable individual del subconjunto, y el orden de la secuencia es irrelevante. De manera similar, una matriz completamente barrida es el resultado de barridos parciales en todas las variables.

Podemos hacer dos observaciones. Primero, después del barrido parcial en  X , el vector de medias y la matriz de covarianza de X son respectivamente y , que son los mismos que los de un barrido completo de la matriz de momentos marginales de  X. Por lo tanto, los elementos correspondientes a X en la ecuación de barrido parcial anterior representan la distribución marginal de X en forma potencial. Segundo, según la estadística, es la media condicional de Y dado X  = 0; es la matriz de covarianza condicional de Y dado X  = 0; y es la pendiente del modelo de regresión de Y sobre  X. Por lo tanto, los elementos correspondientes a los índices de Y y la intersección de X e Y en representan la distribución condicional de Y dado  X  = 0. ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}}$${\displaystyle -(\Sigma _{11})^{-1}}$${\displaystyle \mu _{2}-\mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}}$${\displaystyle \Sigma _{22}-\Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}}$${\displaystyle (\Sigma _{11})^{-1}\Sigma _{12}}$${\displaystyle M({\vec {X}},Y)}$

Esta semántica convierte la operación de barrido parcial en un método útil para manipular distribuciones normales multivariadas. Además, constituye la base de las representaciones de la matriz de momentos para los tres casos importantes restantes de funciones de creencia lineales, incluidas las funciones de creencia propiamente dichas, las ecuaciones lineales y los modelos de regresión lineal.

Para las variables X e Y , supongamos que existe evidencia que justifica una distribución normal para la variable Y, sin tener opiniones sobre la variable  X. Además, supongamos que X e Y no están relacionadas linealmente de forma perfecta, es decir, su correlación es menor que 1. Este caso implica una combinación de una distribución normal ordinaria para Y y una función de creencia vacía para  X. Por lo tanto, lo representamos mediante una matriz parcialmente barrida de la siguiente manera:

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}0\\0\\0\end{array}}&{\begin{array}{*{20}c}\mu _{2}\\0\\\Sigma _{22}\\\end{array}}\end{array}}\right]}$

Así es como podríamos entender la representación. Como desconocemos  X , usamos su forma barrida y establecemos y . Dado que la correlación entre X e Y es menor que 1, el coeficiente de regresión de X sobre Y tiende a 0 cuando la varianza de X tiende a ∞. Por lo tanto, . De manera similar, se puede demostrar que y . ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}=0}$${\displaystyle -(\Sigma _{11})^{-1}=0}$${\displaystyle (\Sigma _{11})^{-1}\Sigma _{12}=0}$${\displaystyle \mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}=0}$${\displaystyle \Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}=0}$

Supongamos que X e Y son dos vectores fila, y que Y = XA + b, donde A y b son las matrices de coeficientes. Representamos la ecuación utilizando una matriz parcialmente barrida de la siguiente manera:

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}0\\0\\A^{T}\end{array}}&{\begin{array}{*{20}c}b\\A\\0\end{array}}\end{array}}\right]}$

Podemos entender la representación basándonos en el hecho de que una ecuación lineal contiene dos piezas de conocimiento: (1) ignorancia total sobre todas las variables; y (2) una distribución condicional degenerada de las variables dependientes dadas las variables independientes. Dado que X es un vector independiente en la ecuación, lo ignoramos por completo. Por lo tanto, y . Dado X = 0, Y está completamente determinado como b. Por lo tanto, la media condicional de Y es b y la varianza condicional es 0. Además, la matriz de coeficientes de regresión es A. ${\displaystyle \mu _{1}(\Sigma _{11})^{-1}=0}$${\displaystyle -(\Sigma _{11})^{-1}=0}$

Cabe destacar que el conocimiento que se representa mediante ecuaciones lineales es muy similar al de las funciones de creencia lineales adecuadas, con la diferencia de que las primeras presuponen una correlación perfecta entre X e Y, mientras que las segundas no. Esta observación resulta interesante, ya que caracteriza la diferencia entre la ignorancia parcial y las ecuaciones lineales en un parámetro: la correlación.

Un modelo de regresión lineal es un caso más general e interesante que los anteriores. Supongamos que X e Y son dos vectores y que Y = XA + b + E, donde A y b son las matrices de coeficientes correspondientes y E es un ruido blanco independiente que satisface E ~ N(0, Σ). Representamos el modelo como la siguiente matriz parcialmente barrida:

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}0\\0\\A^{T}\end{array}}&{\begin{array}{*{20}c}b\\A\\\Sigma \end{array}}\end{array}}\right]}$

Este modelo de regresión lineal puede considerarse como la combinación de dos conjuntos de conocimiento (véase más adelante): uno se especifica mediante una ecuación lineal con tres variables X, Y y E, y el otro es una distribución normal simple de E, es decir, E ~ N(0, Σ). Alternativamente, puede considerarse similar a una ecuación lineal, con la salvedad de que, dado X = 0, Y no se determina completamente como b. En cambio, la media condicional de Y es b, mientras que la varianza condicional es Σ. Cabe destacar que, en esta interpretación alternativa, un modelo de regresión lineal constituye un componente básico para la representación del conocimiento y se codifica como una matriz de momentos. Además, el término de ruido E no aparece en la representación, lo que la hace más eficiente.

Al representar los seis casos especiales, observamos una clara ventaja de la representación mediante matriz de momentos: permite una representación unificada para tipos de conocimiento aparentemente diversos, incluyendo ecuaciones lineales, distribuciones conjuntas y condicionales, e ignorancia. Esta unificación es significativa no solo para la representación del conocimiento en inteligencia artificial, sino también para el análisis estadístico y la computación en ingeniería. Por ejemplo, la representación trata los componentes lógicos y probabilísticos típicos de la estadística —observaciones, distribuciones, distribuciones a priori impropias (para la estadística bayesiana) y modelos de ecuaciones lineales— no como conceptos separados, sino como manifestaciones de un único concepto. Esto permite visualizar las conexiones internas entre estos conceptos o manifestaciones e interactuar con ellos para fines computacionales.

Existen dos operaciones básicas para realizar inferencias en sistemas expertos que utilizan funciones de creencia lineales: la combinación y la marginalización. La combinación corresponde a la integración del conocimiento, mientras que la marginalización corresponde a la simplificación del mismo. Realizar una inferencia implica combinar el conocimiento relevante en un conjunto completo de conocimiento y luego proyectar dicho conjunto a un dominio parcial, en el cual se debe responder una pregunta de inferencia.

La marginalización proyecta una función de creencia lineal en una con menos variables. Expresada como una matriz de momentos, es simplemente la restricción de una matriz de momentos no barrida a una submatriz correspondiente a las variables restantes. Por ejemplo, para la distribución conjunta M(X, Y), su marginal a Y es:

${\displaystyle M^{\downarrow Y}(X,Y)=\left[{\begin{array}{*{20}c}\mu _{2}\\\Sigma _{22}\end{array}}\right]}$

Al eliminar una variable, es importante que esta no haya sido barrida en la matriz de momentos correspondiente, es decir, que no tenga una flecha encima. Por ejemplo, al proyectar la matriz sobre Y se obtiene: ${\displaystyle M({\vec {X}},Y)}$

${\displaystyle M^{\downarrow Y}({\vec {X}},Y)=\left[{\begin{array}{*{20}c}\mu _{2}-\mu _{1}(\Sigma _{11})^{-1}\Sigma _{12}\\\Sigma _{22}-\Sigma _{21}(\Sigma _{11})^{-1}\Sigma _{12}\end{array}}\right]}$

que no es la misma función de creencia lineal de Y. Sin embargo, es fácil ver que eliminar cualquiera o todas las variables de Y de la matriz parcialmente barrida seguirá produciendo el resultado correcto: una matriz que representa la misma función para las variables restantes.

Para eliminar una variable que ya ha sido barrida, tenemos que revertir el barrido usando barridos inversos parciales o completos. Supongamos que es una matriz de momentos completamente barrida, ${\displaystyle M({\vec {X}})}$

${\displaystyle M({\vec {X}})=\left({\begin{array}{*{20}c}{\bar {\mu }}\\{\bar {\Sigma }}\\\end{array}}\right)}$

Luego, un barrido inverso completo recuperará la matriz de momentos M(X) de la siguiente manera: ${\displaystyle M({\vec {X}})}$

${\displaystyle M(X)=\left({\begin{array}{*{20}c}{-{\bar {\mu }}{\bar {\Sigma }}^{-1}}\\{-{\bar {\Sigma }}^{-1}}\\\end{array}}\right)}$

Si una matriz de momentos está en forma parcialmente barrida, por ejemplo

${\displaystyle M({\vec {X}},Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}{{\bar {\mu }}_{1}}\\{{\bar {\Sigma }}_{11}}\\{{\bar {\Sigma }}_{21}}\\\end{array}}&{\begin{array}{*{20}c}{{\bar {\mu }}_{2}}\\{{\bar {\Sigma }}_{12}}\\{{\bar {\Sigma }}_{22}}\\\end{array}}\\\end{array}}\right]}$

Su barrido parcialmente inverso en X se define de la siguiente manera:

${\displaystyle M(X,Y)=\left[{\begin{array}{*{20}c}{\begin{array}{*{20}c}{-{\bar {\mu }}_{1}({\bar {\Sigma }}_{11})^{-1}}\\{-({\bar {\Sigma }}_{11})^{-1}}\\{-{\bar {\Sigma }}_{21}({\bar {\Sigma }}_{11})^{-1}}\\\end{array}}&{\begin{array}{*{20}c}{{\bar {\mu }}_{2}-{\bar {\mu }}_{1}({\bar {\Sigma }}_{11})^{-1}{\bar {\Sigma }}_{12}}\\{-({\bar {\Sigma }}_{11})^{-1}{\bar {\Sigma }}_{12}}\\{{\bar {\Sigma }}_{22}-{\bar {\Sigma }}_{21}({\bar {\Sigma }}_{11})^{-1}{\bar {\Sigma }}_{12}}\\\end{array}}\\\end{array}}\right]}$

Los barridos inversos son similares a los directos, excepto por una diferencia de signo en algunas multiplicaciones. Sin embargo, los barridos directos e inversos son operaciones opuestas. Se puede demostrar fácilmente que al aplicar el barrido inverso completo se recupera la matriz de momentos inicial M(X). También se puede probar que al aplicar un barrido inverso parcial sobre X a la matriz se recupera la matriz de momentos M(X,Y). De hecho, Liu ^{[ 6 ]} demuestra que una matriz de momentos se recupera mediante un barrido inverso después de un barrido directo sobre el mismo conjunto de variables. También se puede recuperar mediante un barrido directo después de un barrido inverso. Intuitivamente, un barrido directo parcial factoriza una función conjunta en una función marginal y una condicional, mientras que un barrido inverso parcial las multiplica en una función conjunta. ${\displaystyle M({\vec {X}})}$${\displaystyle M({\vec {X}},Y)}$

According to Dempster’s rule, the combination of belief functions may be expressed as the intersection of focal elements and the multiplication of probability density functions. Liping Liu applies the rule to linear belief functions in particular and obtains a formula of combination in terms of density functions. Later he proves a claim by Arthur P. Dempster and reexpresses the formula as the sum of two fully swept matrices. Mathematically, assume ${\displaystyle M_{1}({\vec {X}})=\left({\begin{array}{*{20}c}{{\bar {\mu }}_{1}}\\{{\bar {\Sigma }}_{1}}\\\end{array}}\right)}$ and ${\displaystyle M_{2}({\vec {X}})=\left({\begin{array}{*{20}c}{{\bar {\mu }}_{2}}\\{{\bar {\Sigma }}_{2}}\\\end{array}}\right)}$ are two LBFs for the same vector of variables X. Then their combination is a fully swept matrix:

${\displaystyle M({\vec {X}})=\left({\begin{array}{*{20}c}{{\bar {\mu }}_{1}+{\bar {\mu }}_{2}}\\{{\bar {\Sigma }}_{1}+{\bar {\Sigma }}_{2}}\\\end{array}}\right)}$

This above equation is often used for multiplying two normal distributions. Here we use it to define the combination of two linear belief functions, which include normal distributions as a special case. Also, note that a vacuous linear belief function (0 swept matrix) is the neutral element for combination. When applying the equation, we need to consider two special cases. First, if two matrices to be combined have different dimensions, then one or both matrices must be vacuously extended, i.e., assuming ignorance on the variables that are no present in each matrix. For example, if M₁(X,Y) and M₂(X,Z) are to be combined, we will first extend them into ${\displaystyle M_{1}(X,Y,{\vec {Z}})}$ and ${\displaystyle M_{2}(X,{\vec {Y}},Z)}$ respectively such that ${\displaystyle M_{1}(X,Y,{\vec {Z}})}$ is ignorant about Z and ${\displaystyle M_{2}(X,{\vec {Y}},Z)}$ is ignorant about Y. The vacuous extension was initially proposed by Kong ^[7] for discrete belief functions. Second, if a variable has zero variance, it will not permit a sweeping operation. In this case, we can pretend the variance to be an extremely small number, say ε, and perform the desired sweeping and combination. We can then apply a reverse sweeping to the combined matrix on the same variable and let ε approaches 0. Since zero variance means complete certainty about a variable, this ε-procedure will vanish ε terms in the final result.

In general, to combine two linear belief functions, their moment matrices must be fully swept. However, one may combine a fully swept matrix with a partially swept one directly if the variables of the former matrix have been all swept on in the later. We can use the linear regression model — Y = XA + b + E — to illustrate the property. As we mentioned, the regression model may be considered as the combination of two pieces of knowledge: one is specified by the linear equation involving three variables X, Y, and E, and the other is a simple normal distribution of E, i.e., E ~ N(0, Σ). Let ${\displaystyle M_{1}({\vec {X}},{\vec {\rm {E}}},Y)=\left[{\begin{array}{*{20}c}0&0&b\\0&0&A\\0&0&I\\{A^{T}}&I&0\\\end{array}}\right]}$ and ${\displaystyle M_{2}({\vec {\rm {E}}})=\left[{\begin{array}{*{20}c}0\\{-\Sigma ^{-1}}\\\end{array}}\right]}$ be their moment matrices respectively. Then the two matrices can be combined directly without sweeping ${\displaystyle M_{1}({\vec {X}},{\vec {\rm {E}}},Y)}$ on Y first. The result of the combination is a partially swept matrix as follows:

${\displaystyle M({\vec {X}},{\vec {\rm {E}}},Y)=\left[{\begin{array}{*{20}c}0&0&b\\0&0&A\\0&{-\Sigma ^{-1}}&I\\{A^{T}}&I&0\\\end{array}}\right]}$

Si aplicamos un barrido inverso a E y luego eliminamos E de la matriz, obtendremos la misma representación del modelo de regresión.

Podemos usar un problema de auditoría para ilustrar los tres tipos de variables de la siguiente manera. Supongamos que queremos auditar el saldo final de las cuentas por cobrar ( E ). Como vimos anteriormente, E es igual al saldo inicial ( B ) más las ventas ( S ) del período menos los cobros en efectivo ( C ) sobre las ventas más un residuo ( R ) que representa devoluciones de ventas y descuentos por pronto pago insignificantes. Por lo tanto, podemos representar la relación lógica como una ecuación lineal:

${\displaystyle E=B+S-C+R}$

Además, si el auditor cree que E y B son 100 mil dólares en promedio con una desviación estándar 5 y la covarianza 15, podemos representar la creencia como una distribución normal multivariada. Si los datos históricos indican que el residuo R es cero en promedio con una desviación estándar de 0.5 mil dólares, podemos resumir los datos históricos mediante la distribución normal R  ~ N(0, 0.5 ² ). Si hay una observación directa sobre los recibos de efectivo, podemos representar la evidencia como una ecuación, por ejemplo, C = 50 (mil dólares). Si el auditor no sabe nada sobre el saldo inicial de las cuentas por cobrar, podemos representar su ignorancia mediante un LBF vacío. Finalmente, si los datos históricos sugieren que, dados los recibos de efectivo  C , las ventas S son en promedio 8 C  + 4 y tienen una desviación estándar de 4 mil dólares, podemos representar el conocimiento como un modelo de regresión lineal S  ~ N(4 + 8 C , 16).