aproximaciones de procesos gaussianos

Estos métodos aproximan el modelo verdadero de manera que la matriz de covarianza sea dispersa. Normalmente, cada método propone su propio algoritmo que aprovecha al máximo el patrón de dispersión en la matriz de covarianza. Dos miembros destacados de esta clase de enfoques son el ajuste de covarianza y la partición de dominio. El primer método generalmente requiere una métrica${\displaystyle d}$encima${\displaystyle {\mathcal {X}}}$y supone que para${\displaystyle X,{\tilde {X}}\in {\mathcal {X}}}$tenemos${\displaystyle Cov(y(X),y({\tilde {X}}))\neq 0}$solo si${\displaystyle d(X,{\tilde {X}})<r}$para cierto radio${\displaystyle r}$. El segundo método supone que existen${\displaystyle {\mathcal {X}}^{(1)},\dots ,{\mathcal {X}}^{(K)}}$de tal manera que${\displaystyle \bigcup _{k=1}^{K}{\mathcal {X}}^{(k)}}$. Luego, con la distribución apropiada de índices entre los elementos de partición y el ordenamiento de los elementos de${\displaystyle X}$La matriz de covarianza es diagonal por bloques.

Esta familia de métodos supone que la matriz de precisión${\displaystyle \mathbf {\Lambda } =\mathbf {\Sigma } ^{-1}}$es disperso y generalmente especifica cuáles de sus elementos no son cero. Esto conduce a una inversión rápida porque solo es necesario calcular esos elementos. Algunas de las aproximaciones más destacadas en esta categoría incluyen el enfoque basado en la equivalencia entre procesos gaussianos con función de covarianza de Matern y EDP estocásticas, incrustación periódica y procesos gaussianos del vecino más cercano. El primer método se aplica al caso de${\displaystyle d=2}$y cuando${\displaystyle {\mathcal {X}}}$tiene una métrica definida y aprovecha el hecho de que se cumple la propiedad de Markov , lo que hace que${\displaystyle \mathbf {\Lambda } }$muy disperso. El segundo extiende el dominio y utiliza la Transformada Discreta de Fourier para descorrelacionar los datos, lo que da como resultado una matriz de precisión diagonal. El tercero requiere una métrica en${\displaystyle {\mathcal {X}}}$y aprovecha el llamado efecto de selección asumiendo que${\displaystyle \mathbf {\Lambda } _ {i,j}\neq 0}$solo si${\displaystyle d(x_{i},x_{j})<r}$, para algunos${\displaystyle r>0}$.

En muchas aplicaciones prácticas, el cálculo${\displaystyle \mathbf {\Lambda } }$se reemplaza con computación primero${\displaystyle \mathbf {L} }$, el factor Cholesky de${\displaystyle \mathbf {\Sigma } }$y segundo, su inverso${\displaystyle \mathbf {L} ^{-1}}$Se sabe que esto es más estable que una inversión simple. Por esta razón, algunos autores se centran en construir una aproximación dispersa del factor de Cholesky de las matrices de precisión o covarianza. Uno de los métodos más establecidos en esta clase es la aproximación de Vecchia y su generalización. Estos enfoques determinan el orden óptimo de los índices y, en consecuencia, los elementos de${\displaystyle \mathbf {x} }$y luego asumir una estructura de dependencia que minimice el relleno en el factor de Cholesky. Varios otros métodos pueden expresarse dentro de este marco, la aproximación multirresolución (MRA) y el proceso gaussiano del vecino más cercano.

Si bien este enfoque abarca muchos métodos, la suposición común que subyace a todos ellos es la suposición de que${\displaystyle y}$, el proceso gaussiano de interés, es efectivamente de bajo rango. Más precisamente, se supone que existe un conjunto de índices${\displaystyle {\bar {X}}=\{{\bar {x}}_{1},\dots ,{\bar {x}}_{p}\}}$de tal manera que cada otro conjunto de índices${\displaystyle X=\{x_{1},\dots ,x_{n}\}}$

${\displaystyle y(X)\sim {\mathcal {N}}\left(\mathbf {A} _{X}{\bar {\mathbf {\mu } }},\mathbf {A} _{X}^{\top }{\bar {\mathbf {\Sigma } }}\mathbf {A} _{X}+\mathbf {D} \right)}$

dónde${\displaystyle \mathbf {A} _{X}}$es un${\displaystyle p\times k}$matriz,${\displaystyle {\bar {\mathbf {\mu } }}=\mu \left(y\left({\bar {X}}\right)\right)}$y${\displaystyle {\bar {\mathbf {\Sigma } }}=K\left({\bar {X}},{\bar {X}}\right)}$y${\displaystyle \mathbf {D} }$es una matriz diagonal . Dependiendo del método y la aplicación, existen varias formas de seleccionar${\displaystyle {\bar {X}}}$se han propuesto. Típicamente,${\displaystyle p}$se selecciona para que sea mucho más pequeño que${\displaystyle n}$lo que significa que el costo computacional de invertir${\displaystyle {\bar {\mathbf {\Sigma } }}}$es manejable (${\displaystyle {\mathcal {O}}(p^{3})}$en lugar de${\displaystyle {\mathcal {O}}(n^{3})}$).

En términos más generales, además de seleccionar${\displaystyle {\bar {X}}}$, también se puede encontrar un${\displaystyle n\times p}$matriz${\displaystyle \mathbf {A} }$y suponer que${\displaystyle X=\mathbf {A} \mathbf {\eta } }$, dónde${\displaystyle \mathbf {\eta } }$son${\displaystyle p}$valores de un proceso gaussiano posiblemente independientes de${\displaystyle x}$Muchos métodos de aprendizaje automático entran en esta categoría, como el subconjunto de regresores (SoR), la máquina de vectores de relevancia , el proceso gaussiano de espectro disperso y otros, y generalmente difieren en la forma en que se derivan.${\displaystyle \mathbf {A} }$y${\displaystyle \mathbf {\eta } }$.

Una aproximación a escala completa combina una aproximación de bajo rango, generalmente basada en puntos inductores, con una aproximación del proceso residual. El componente de bajo rango captura la dependencia global o a gran escala, mientras que la aproximación residual recupera la dependencia local y a pequeña escala que no está adecuadamente representada por el componente de bajo rango. Diferentes variantes obtienen escasez computacional aplicando métodos como el aplanamiento de covarianza a la matriz de covarianza residual o una aproximación de Vecchia al proceso residual. ^{[ 1 ] [ 2 ]}

El principio general de las aproximaciones jerárquicas consiste en la aplicación repetida de algún otro método, de modo que cada aplicación consecutiva refina la calidad de la aproximación. Aunque pueden expresarse como un conjunto de supuestos estadísticos, a menudo se describen en términos de una aproximación matricial jerárquica (HODLR) o una expansión de funciones base (LatticeKrig, MRA, wavelets). El enfoque matricial jerárquico a menudo puede representarse como una aplicación repetida de una aproximación de bajo rango a subconjuntos sucesivamente más pequeños del conjunto de índices.${\displaystyle X}$. La expansión de funciones base se basa en el uso de funciones con soporte compacto. Estas características pueden ser explotadas por un algoritmo que recorre capas consecutivas de la aproximación. En las condiciones más favorables, algunos de estos métodos pueden lograr cuasilineales (${\displaystyle {\mathcal {O}}(n\log n)}$) complejidad.

Los modelos gráficos probabilísticos proporcionan un marco conveniente para comparar aproximaciones basadas en modelos. En este contexto, el valor del proceso en el índice${\displaystyle x_{k}\in X}$ entonces puede representarse mediante un vértice en un grafo dirigido y las aristas corresponden a los términos en la factorización de la densidad conjunta de${\displaystyle y(X)}$En general, cuando no se asumen relaciones independientes, la distribución de probabilidad conjunta puede representarse mediante un grafo acíclico dirigido arbitrario. Utilizando una aproximación particular, esta distribución puede expresarse como una forma específica de ordenar los vértices y añadir o eliminar aristas concretas.