Numerología probabilística

La numérica probabilística es un campo de estudio activo en la intersección de las matemáticas aplicadas , la estadística y el aprendizaje automático, centrado en el concepto de incertidumbre en el cálculo . En la numérica probabilística, las tareas de análisis numérico , como la búsqueda de soluciones numéricas para la integración , el álgebra lineal , la optimización y la simulación y las ecuaciones diferenciales , se consideran problemas de inferencia estadística, probabilística o bayesiana . ^{[1] [2] [3] [4] [5]}

Un método numérico es un algoritmo que aproxima la solución de un problema matemático (los ejemplos a continuación incluyen la solución de un sistema lineal de ecuaciones, el valor de una integral, la solución de una ecuación diferencial, el mínimo de una función multivariante). En un algoritmo numérico probabilístico , este proceso de aproximación se considera un problema de estimación , inferencia o aprendizaje y se realiza en el marco de la inferencia probabilística (a menudo, pero no siempre, inferencia bayesiana ). ^[6]

Formalmente, esto significa formular la configuración del problema computacional en términos de una distribución previa , formular la relación entre los números calculados por la computadora (por ejemplo, multiplicaciones de matriz-vector en álgebra lineal, gradientes en optimización, valores del integrando o del campo vectorial que define una ecuación diferencial) y la cantidad en cuestión (la solución del problema lineal, el mínimo, la integral, la curva de solución) en una función de verosimilitud y devolver una distribución posterior como salida. En la mayoría de los casos, los algoritmos numéricos también toman decisiones adaptativas internas sobre qué números calcular, lo que forma un problema de aprendizaje activo .

Muchos de los algoritmos numéricos clásicos más populares pueden reinterpretarse en el marco probabilístico. Esto incluye el método de gradientes conjugados , ^{[7] [8] [9]} los métodos de Nordsieck , las reglas de cuadratura gaussiana ^[10] y los métodos cuasi-Newton . ^[11] En todos estos casos, el método clásico se basa en una estimación de mínimos cuadrados regularizada que puede asociarse con la media posterior que surge de una probabilidad y una probabilidad previas gaussianas . En tales casos, la varianza de la probabilidad posterior gaussiana se asocia entonces con una estimación del peor caso posible para el error al cuadrado.

Los métodos numéricos probabilísticos prometen varias ventajas conceptuales sobre las técnicas clásicas de aproximación basadas en estimaciones puntuales:

• Devuelven estimaciones de error estructuradas (en particular, la capacidad de devolver muestras posteriores conjuntas, es decir, múltiples hipótesis realistas para la verdadera solución desconocida del problema)
• La inferencia bayesiana jerárquica se puede utilizar para establecer y controlar hiperparámetros internos en dichos métodos de manera genérica, en lugar de tener que reinventar métodos nuevos para cada parámetro.
• Los métodos numéricos probabilísticos, dado que utilizan y permiten una probabilidad explícita que describe la relación entre los números calculados y la cantidad objetivo, pueden utilizar los resultados incluso de cálculos altamente imprecisos, sesgados y estocásticos. ^[12] Por el contrario, los métodos numéricos probabilísticos también pueden proporcionar una probabilidad en cálculos que a menudo se consideran " libres de probabilidad " en otros lugares ^[13].
• Debido a que todos los métodos numéricos probabilísticos utilizan esencialmente el mismo tipo de datos (medidas de probabilidad) para cuantificar la incertidumbre sobre las entradas y las salidas, se pueden encadenar para propagar la incertidumbre a través de cálculos compuestos a gran escala.
• Las fuentes de múltiples fuentes de información (por ejemplo, conocimiento algebraico y mecanicista sobre la forma de una ecuación diferencial y observaciones de la trayectoria del sistema recolectadas en el mundo físico) se pueden combinar de forma natural y dentro del bucle interno del algoritmo, eliminando bucles anidados que de otro modo serían necesarios en el cálculo, por ejemplo, en problemas inversos . ^[14]

Estas ventajas son esencialmente el equivalente a ventajas funcionales similares que los métodos bayesianos disfrutan sobre las estimaciones puntuales en el aprendizaje automático, aplicadas o transferidas al dominio computacional.

Se han desarrollado métodos numéricos probabilísticos para el problema de la integración numérica , siendo el método más popular el llamado cuadratura bayesiana . ^{[15] [16] [17] [18]}

En la integración numérica, las evaluaciones de funciones en varios puntos se utilizan para estimar la integral de una función frente a alguna medida . La cuadratura bayesiana consiste en especificar una distribución previa sobre y condicionar esta distribución previa sobre para obtener una distribución posterior sobre , y luego calcular la distribución posterior implícita sobre . La opción más común de distribución previa es un proceso gaussiano , ya que nos permite obtener una distribución posterior de forma cerrada sobre la integral, que es una distribución gaussiana univariante. La cuadratura bayesiana es particularmente útil cuando la función es costosa de evaluar y la dimensión de los datos es pequeña a moderada. ${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$${\displaystyle x_{1},\ldots ,x_{n}}$${\displaystyle \textstyle \int f(x)\nu (dx)}$${\estilo de visualización f}$${\estilo de visualización \nu}$${\estilo de visualización f}$${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$${\estilo de visualización f}$${\displaystyle \textstyle \int f(x)\nu (dx)}$${\estilo de visualización f}$

La numérica probabilística también se ha estudiado para la optimización matemática , que consiste en encontrar el mínimo o máximo de alguna función objetivo dadas evaluaciones (posiblemente ruidosas o indirectas) de esa función en un conjunto de puntos. ${\estilo de visualización f}$

Tal vez el esfuerzo más notable en esta dirección es la optimización bayesiana ^[20] , un enfoque general de la optimización basado en la inferencia bayesiana. Los algoritmos de optimización bayesiana operan manteniendo una creencia probabilística sobre todo el procedimiento de optimización; esto a menudo toma la forma de un proceso gaussiano previo condicionado a las observaciones. Esta creencia luego guía al algoritmo en la obtención de observaciones que probablemente hagan avanzar el proceso de optimización. Las políticas de optimización bayesiana generalmente se realizan transformando la función objetivo posterior en una función de adquisición económica y diferenciable que se maximiza para seleccionar cada ubicación de observación sucesiva. Un enfoque destacado es modelar la optimización a través del diseño experimental secuencial bayesiano , buscando obtener una secuencia de observaciones que produzca el mayor progreso de optimización según lo evaluado por una función de utilidad apropiada . Un efecto secundario bienvenido de este enfoque es que la incertidumbre en la función objetivo, medida por la creencia probabilística subyacente, puede guiar una política de optimización para abordar la disyuntiva clásica de exploración versus explotación . ${\estilo de visualización f}$

Se han desarrollado métodos numéricos probabilísticos en el contexto de la optimización estocástica para el aprendizaje profundo , en particular para abordar cuestiones principales como el ajuste de la tasa de aprendizaje y las búsquedas de línea , ^[21] la selección del tamaño de lote, ^[22] la detención temprana , ^[23] la poda, ^[24] y las direcciones de búsqueda de primer y segundo orden. ^{[25] [26]}

En este contexto, el objetivo de optimización es a menudo un riesgo empírico de la forma definida por un conjunto de datos y una pérdida que cuantifica qué tan bien un modelo predictivo parametrizado por se desempeña en la predicción del objetivo a partir de su entrada correspondiente . La incertidumbre epistémica surge cuando el tamaño del conjunto de datos es grande y no se puede procesar de una vez, lo que significa que las cantidades locales (dadas algunas ) como la función de pérdida en sí o su gradiente no se pueden calcular en un tiempo razonable. Por lo tanto, generalmente se utiliza el mini-batching para construir estimadores de estas cantidades en un subconjunto aleatorio de los datos. Los métodos numéricos probabilísticos modelan esta incertidumbre explícitamente y permiten decisiones automatizadas y ajuste de parámetros. ${\displaystyle \textstyle L(\theta )={\frac {1}{N}}\sum _{n=1}^{N}\ell (y_{n},f_{\theta }(x_{n) }))}$${\displaystyle \textstyle {\mathcal {D}}=\{(x_ {n},y_ {n})\}_ {n=1}^{N}}$${\displaystyle \ell(y,f_{\theta}(x))}$$estilo f_ {\theta}(x)}$${\estilo de visualización \theta}$${\estilo de visualización y}$${\estilo de visualización x}$${\estilo de visualización N}$${\estilo de visualización \theta}$${\displaystyle L(\theta )}$${\displaystyle \nabla L(\theta )}$

Los métodos numéricos probabilísticos para el álgebra lineal ^{[7] [8] [27] [9] [28] [29]} se han centrado principalmente en la solución de sistemas de ecuaciones lineales de la forma y el cálculo de determinantes . ^{[30] [31]}${\displaystyle Ax=b}$ ${\displaystyle |A|}$

Una gran clase de métodos son de naturaleza iterativa y recopilan información sobre el sistema lineal a resolver mediante la multiplicación repetida de matriz-vector con la matriz del sistema con diferentes vectores . Dichos métodos se pueden dividir aproximadamente en una perspectiva basada en la solución ^{[8] [28]} y una perspectiva basada en la matriz ^{[7] [9],} dependiendo de si la creencia se expresa sobre la solución del sistema lineal o la (pseudo)inversa de la matriz . La actualización de la creencia utiliza que el objeto inferido está vinculado a multiplicaciones de matrices o mediante y . Los métodos generalmente asumen una distribución gaussiana, debido a su cerrazón bajo observaciones lineales del problema. Si bien conceptualmente diferentes, estos dos puntos de vista son computacionalmente equivalentes y están inherentemente conectados a través del lado derecho a través de . ^[27]${\displaystyle v\mapsto Av}$${\estilo de visualización A}$${\estilo de visualización v}$${\estilo de visualización x}$${\displaystyle H=A^{\dagger}}$${\displaystyle y=Av}$${\displaystyle z=A^{\intercal }v}$${\displaystyle b^{\intercal }z=x^{\intercal }v}$${\displaystyle v=A^{-1}y}$$Estilo de visualización x=A^{-1}b$

Las rutinas de álgebra lineal numérica probabilística se han aplicado con éxito para escalar procesos gaussianos a grandes conjuntos de datos. ^{[31] [32]} En particular, permiten la propagación exacta del error de aproximación a un posterior de proceso gaussiano combinado, que cuantifica la incertidumbre que surge tanto del número finito de datos observados como de la cantidad finita de cálculos realizados. ^[32]

Se han desarrollado métodos numéricos probabilísticos para ecuaciones diferenciales ordinarias , para problemas de valores iniciales y de contorno. Se han propuesto muchos métodos numéricos probabilísticos diferentes diseñados para ecuaciones diferenciales ordinarias, y estos pueden agruparse en las dos categorías siguientes: ${\displaystyle {\dot {y}}(t)=f(t,y(t))}$

• Los métodos basados ​​en aleatorización se definen a través de perturbaciones aleatorias de métodos numéricos deterministas estándar para ecuaciones diferenciales ordinarias. Por ejemplo, esto se ha logrado agregando perturbaciones gaussianas en la solución de integradores de un paso ^[33] o perturbando aleatoriamente su paso de tiempo ^[34] . Esto define una medida de probabilidad en la solución de la ecuación diferencial que se puede muestrear.
• Los métodos de regresión de proceso gaussiano se basan en plantear el problema de resolver la ecuación diferencial en cuestión como un problema de regresión de proceso gaussiano, interpretando las evaluaciones del lado derecho como datos sobre la derivada. ^[35] Estas técnicas se parecen a la cubatura bayesiana, pero emplean modelos de observación diferentes y a menudo no lineales. ^{[36] [37]} En sus inicios, esta clase de métodos se basaba en la regresión de proceso gaussiano ingenua . Esto se mejoró más tarde (en términos de cálculo eficiente) a favor de los priores de Gauss-Markov ^{[38] [39]} modelados por la ecuación diferencial estocástica , donde es un vector -dimensional que modela las primeras derivadas de , y donde es un movimiento browniano -dimensional . Por lo tanto, la inferencia se puede implementar de manera eficiente con métodos basados ​​en el filtrado de Kalman .${\displaystyle \mathrm {d} x(t)=Ax(t)\,\mathrm {d} t+B\,\mathrm {d} v(t)}$${\estilo de visualización x(t)}$${\estilo de visualización \nu}$${\estilo de visualización \nu}$${\displaystyle y(t)}$${\estilo de visualización v(t)}$${\estilo de visualización \nu}$

El límite entre estas dos categorías no es nítido, de hecho también se desarrolló un enfoque de regresión de proceso gaussiano basado en datos aleatorios. ^[40] Estos métodos se han aplicado a problemas de geometría riemanniana computacional, ^[41] problemas inversos, modelos de fuerza latente y a ecuaciones diferenciales con una estructura geométrica como la simplicidad.

También se han propuesto varios métodos numéricos probabilísticos para ecuaciones diferenciales parciales . Al igual que con las ecuaciones diferenciales ordinarias, los enfoques se pueden dividir en general en aquellos basados ​​en la aleatorización, generalmente de alguna malla de elementos finitos subyacente ^{[33] [42]} y aquellos basados ​​en la regresión de proceso gaussiano. ^{[4] [3] [43] [44]}

Los solucionadores de EDP numéricas probabilísticas basados ​​en la regresión de proceso gaussiano recuperan métodos clásicos en EDP lineales para ciertas probabilidades anteriores, en particular métodos de residuos ponderados por media , que incluyen métodos de Galerkin , métodos de elementos finitos , así como métodos espectrales . ^[44]

La interacción entre el análisis numérico y la probabilidad se aborda en otras áreas de las matemáticas, como el análisis de casos promedio de métodos numéricos, la complejidad basada en la información , la teoría de juegos y la teoría de decisiones estadísticas . Los precursores de lo que ahora se denomina "cifras probabilísticas" se pueden encontrar a fines del siglo XIX y principios del XX.

Los orígenes de la numérica probabilística se pueden rastrear hasta una discusión de los enfoques probabilísticos para la interpolación polinomial por Henri Poincaré en su Calcul des Probabilités . ^[45] En la terminología moderna, Poincaré consideró una distribución previa gaussiana en una función , expresada como una serie de potencia formal con coeficientes aleatorios, y pidió "valores probables" de dado este previo y las observaciones para . ${\displaystyle f\colon \mathbb {R} \to \mathbb {R} }$${\estilo de visualización f(x)}$${\displaystyle n\in \mathbb {N}}$${\displaystyle f(a_{i})=B_{i}}$${\displaystyle i=1,\puntos ,n}$

Una contribución seminal posterior a la interacción del análisis numérico y la probabilidad fue proporcionada por Albert Suldin en el contexto de la cuadratura univariante . ^[46] El problema estadístico considerado por Suldin fue la aproximación de la integral definida de una función , bajo un movimiento browniano a priori en , dado el acceso a la evaluación puntual de en los nodos . Suldin mostró que, para los nodos de cuadratura dados, la regla de cuadratura con un error cuadrático medio mínimo es la regla trapezoidal ; además, este error mínimo es proporcional a la suma de los cubos de los espaciamientos entre nodos. Como resultado, uno puede ver la regla trapezoidal con nodos igualmente espaciados como estadísticamente óptima en algún sentido - un ejemplo temprano del análisis de caso promedio de un método numérico. El punto de vista de Suldin fue ampliado posteriormente por Mike Larkin. ^[47] Nótese que el movimiento browniano a priori de Suldin sobre el integrando es una medida gaussiana y que las operaciones de integración y de evaluación puntual de son ambas aplicaciones lineales . Por lo tanto, la integral definida es una variable aleatoria gaussiana de valor real. En particular, después de condicionarla a los valores puntuales observados de , sigue una distribución normal con media igual a la regla trapezoidal y varianza igual a . Este punto de vista es muy cercano al de la cuadratura bayesiana , que considera el resultado de un método de cuadratura no solo como una estimación puntual sino como una distribución de probabilidad por derecho propio. ${\displaystyle \textstyle \int u(t)\,\mathrm {d} t}$${\displaystyle u\colon [a,b]\to \mathbb {R} }$${\estilo de visualización u}$${\estilo de visualización u}$${\displaystyle t_{1},\puntos ,t_{n}\en [a,b]}$${\estilo de visualización u}$${\estilo de visualización u}$${\displaystyle \textstyle \int u(t)\,\mathrm {d} t}$${\estilo de visualización u}$${\displaystyle \textstyle {\frac {1}{12}}\suma _{i=2}^{n}(t_{i}-t_{i-1})^{3}}$

Como señalaron Houman Owhadi y colaboradores, ^{[3] [48]} las interacciones entre la aproximación numérica y la inferencia estadística también se pueden rastrear hasta Palasti y Renyi, ^[49] Sard, ^[50] Kimeldorf y Wahba ^[51] (sobre la correspondencia entre la estimación bayesiana y el suavizado/interpolación de splines) y Larkin ^[47] (sobre la correspondencia entre la regresión del proceso gaussiano y la aproximación numérica). Aunque el enfoque de modelar una función perfectamente conocida como una muestra de un proceso aleatorio puede parecer contraintuitivo, un marco natural para comprenderlo se puede encontrar en la complejidad basada en la información (IBC), ^[52] la rama de la complejidad computacional fundada en la observación de que la implementación numérica requiere computación con información parcial y recursos limitados. En IBC, el rendimiento de un algoritmo que opera con información incompleta se puede analizar en el peor de los casos o en el caso promedio (aleatorio) con respecto a la información faltante. Además, como observó Packel ^[53] , la configuración del caso promedio podría interpretarse como una estrategia mixta en un juego adversarial obtenida al elevar un problema minmax (en el peor de los casos) a un problema minmax sobre estrategias mixtas (aleatorias). Esta observación conduce a una conexión natural ^{[54] [3]} entre la aproximación numérica y la teoría de decisiones de Wald , evidentemente influenciada por la teoría de juegos de von Neumann . Para describir esta conexión, considere la configuración de recuperación óptima de Micchelli y Rivlin ^[55] en la que uno intenta aproximar una función desconocida a partir de un número finito de mediciones lineales en esa función. Interpretando este problema de recuperación óptima como un juego de suma cero donde el Jugador I selecciona la función desconocida y el Jugador II selecciona su aproximación, y usando errores relativos en una norma cuadrática para definir pérdidas, surgen los priores gaussianos ^[3] como estrategias mixtas óptimas para tales juegos, y el operador de covarianza del prior gaussiano óptimo está determinado por la norma cuadrática utilizada para definir el error relativo de la recuperación.

• ProbNum: Numéricos probabilísticos en Python.
• ProbNumDiffEq.jl: Solucionadores de EDO numéricos probabilísticos basados ​​en filtrado implementados en Julia.
• Emukit: Caja de herramientas Python adaptable para la toma de decisiones bajo incertidumbre.
• BackPACK: desarrollado sobre PyTorch. Calcula de manera eficiente cantidades distintas del gradiente.

• Análisis de casos promedio
• Complejidad basada en la información
• Cuantificación de la incertidumbre