Hispanopedia Wiki
Articulo de referencia

Geometría de la información

El conjunto de todas las distribuciones normales forma una variedad estadística con geometría hiperbólica . La geometría de la información es un campo interdisciplinario que apl...

Hispanopedia WikiContenido en espanolLectura gratuita
El conjunto de todas las distribuciones normales forma una variedad estadística con geometría hiperbólica .

La geometría de la información es un campo interdisciplinario que aplica las técnicas de la geometría diferencial para estudiar la teoría de la probabilidad y la estadística . [ 1 ] Estudia las variedades estadísticas , que son variedades riemannianas cuyos puntos corresponden a distribuciones de probabilidad .

Introducción

Históricamente, la geometría de la información se remonta al trabajo de CR Rao , quien fue el primero en tratar la matriz de Fisher como una métrica riemanniana . [ 2 ] [ 3 ] La teoría moderna se debe en gran medida a Shun'ichi Amari , cuyo trabajo ha sido muy influyente en el desarrollo del campo. [ 4 ]

Clásicamente, la geometría de la información consideraba un modelo estadístico parametrizado como una variedad riemanniana , con conexión conjugada, estadística y dualmente plana. A diferencia de las variedades suaves usuales con métrica tensorial y conexión de Levi-Civita, estas toman en cuenta la conexión conjugada, la torsión y la métrica de Amari-Chentsov. [ 5 ] Todas las estructuras geométricas presentadas anteriormente encuentran aplicación en la teoría de la información y el aprendizaje automático . Para tales modelos, hay una elección natural de métrica riemanniana, conocida como métrica de información de Fisher . En el caso especial de que el modelo estadístico sea una familia exponencial , es posible inducir la variedad estadística con una métrica hessiana (es decir, una métrica riemanniana dada por el potencial de una función convexa). En este caso, la variedad hereda naturalmente dos conexiones afines planas , así como una divergencia de Bregman canónica . Históricamente, gran parte del trabajo se dedicó al estudio de la geometría asociada de estos ejemplos. En el contexto moderno, la geometría de la información se aplica a un ámbito mucho más amplio, que incluye familias no exponenciales, estadísticas no paramétricas e incluso variedades estadísticas abstractas no derivadas de un modelo estadístico conocido. Los resultados combinan técnicas de la teoría de la información , la geometría diferencial afín , el análisis convexo y muchos otros campos. Uno de los enfoques más prometedores de la geometría de la información encuentra aplicaciones en el aprendizaje automático . Por ejemplo, en el desarrollo de métodos de optimización geométrica de la información (descenso de espejo [ 6 ] y descenso de gradiente natural [ 7 ] ).

Las referencias estándar en el campo son el libro de Shun'ichi Amari y Hiroshi Nagaoka, Methods of Information Geometry , [ 8 ] y el libro más reciente de Nihat Ay y otros. [ 9 ] Frank Nielsen ofrece una introducción sencilla en su revisión. [ 10 ] En 2018, se publicó la revista Information Geometry , dedicada a este campo.

Colaboradores

La historia de la geometría de la información está asociada con los descubrimientos de al menos las siguientes personas, y muchas otras.

Aplicaciones

Como campo interdisciplinario, la geometría de la información se ha utilizado en diversas aplicaciones.

Aquí una lista incompleta:

  • Inferencia estadística [ 11 ]
  • Series temporales y sistemas lineales
  • Problema de filtrado [ 12 ]
  • Sistemas cuánticos [ 13 ]
  • Redes neuronales [ 14 ]
  • Aprendizaje automático
  • Mecánica estadística
  • Biología
  • Estadísticas [ 15 ] [ 16 ]
  • Finanzas matemáticas [ 17 ]

Véase también

Referencias

  1. ↑ Nielsen, Frank (2022). "Las múltiples caras de la geometría de la información" (PDF) . Notices of the AMS . 69 (1). American Mathematical Society: 36-45.
  2. ↑ Rao, CR (1945). "Información y precisión alcanzables en la estimación de parámetros estadísticos". Boletín de la Sociedad Matemática de Calcuta . 37 : 81–91 .Reimpreso en Breakthroughs in Statistics . Springer. 1992. pp. 235–247 . doi : 10.1007/978-1-4612-0919-5_16 . S2CID 117034671 .  
  3. ↑ Nielsen, F. (2013). «Cramér-Rao Lower Bound and Information Geometry». En Bhatia, R.; Rajan, CS (eds.). Connected at Infinity II: On the Work of Indian Mathematicians . Texts and Readings in Mathematics. Vol. Volumen especial de Texts and Readings in Mathematics (TRIM). Hindustan Book Agency. pp. 18–37 . arXiv : 1301.3578 . doi : 10.1007/978-93-86279-56-9_2 . ISBN   978-93-80250-51-9. S2CID 16759683 . 
  4. ↑ Amari, Shun'ichi (1983). "Fundamentos de la geometría de la información" . Electrónica y Comunicaciones en Japón . 66 (6): 1– 10. doi : 10.1002/ecja.4400660602 .
  5. ^ Bauer, Martín; Le Brigant, Alice; Lu, Yuxiu; Maor, Cy (10 de febrero de 2024). "La métrica $$L^p$$ -Fisher-Rao y las conexiones $$\alpha $$ de Amari-C̆encov" . Cálculo de Variaciones y Ecuaciones Diferenciales Parciales . 63 (2): 56. arXiv : 2306.14533 . doi : 10.1007/s00526-024-02660-5 . ISSN 1432-0835 . 
  6. ↑ Raskutti, Garvesh; Mukherjee, Sayan (marzo de 2015). "La geometría de la información del descenso espejo". IEEE Transactions on Information Theory . 61 (3): 1451– 1457. arXiv : 1310.7780 . Bibcode : 2015ITIT...61.1451R . doi : 10.1109/TIT.2015.2388583 . ISSN 0018-9448 . 
  7. ↑ Abdulkadirov, Ruslan; Lyakhov, Pavel; Nagornov, Nikolay (enero de 2022). "Aceleración de la búsqueda extrema de funciones multidimensionales basada en el descenso de gradiente natural con distribuciones de Dirichlet" . Matemáticas . 10 (19): 3556. doi : 10.3390/math10193556 . ISSN 2227-7390 . 
  8. ↑ Amari, Shun'ichi; Nagaoka, Hiroshi (2000). Métodos de geometría de la información . Traducciones de monografías matemáticas. Vol. 191. Sociedad Matemática Americana. ISBN  0-8218-0531-2.
  9. ^ Sí, Nihat; Jost, Jürgen ; Lê, Hông Vân; Schwachhöfer, Lorenz (2017). Geometría de la información . Ergebnisse der Mathematik und ihrer Grenzgebiete. vol. 64. Saltador. ISBN  978-3-319-56477-7.
  10. ↑ Nielsen, Frank (2018). "Una introducción elemental a la geometría de la información" . Entropía . 22 (10).
  11. ↑ Kass, RE; Vos, PW (1997). Fundamentos geométricos de la inferencia asintótica . Serie de probabilidad y estadística. Wiley. ISBN 0-471-82668-5.
  12. ↑ Brigo, Damiano ; Hanzon, Bernard; LeGland, Francois (1998). "Un enfoque geométrico diferencial para el filtrado no lineal: el filtro de proyección" (PDF) . IEEE Transactions on Automatic Control . 43 (2): 247– 252. Bibcode : 1998ITAC...43..247B . doi : 10.1109/9.661075 .
  13. ↑ van Handel, Ramon; Mabuchi, Hideo (2005). "Filtro de proyección cuántica para un modelo altamente no lineal en QED de cavidad". Journal of Optics B: Quantum and Semiclassical Optics . 7 (10): S226– S236. arXiv : quant-ph/0503222 . Bibcode : 2005JOptB...7S.226V . doi : 10.1088/1464-4266/7/10/005 . S2CID 15292186 . 
  14. ↑ Zlochin, Mark; Baram, Yoram (2001). "Dinámica estocástica de variedades para el aprendizaje bayesiano" . Neural Computation . 13 (11): 2549– 2572. doi : 10.1162/089976601753196021 . PMID 11674851 . 
  15. ↑ Amari, Shun'ichi (1985). Métodos geométrico-diferenciales en estadística . Notas de clase en estadística. Berlín: Springer-Verlag. ISBN 0-387-96056-2.
  16. ↑ Murray, M.; Rice, J. (1993). Geometría diferencial y estadística . Monografías sobre estadística y probabilidad aplicada. Vol. 48. Chapman and Hall . ISBN  0-412-39860-5.
  17. ↑ Marriott, Paul; Salmon, Mark, eds. (2000). Aplicaciones de la geometría diferencial a la econometría . Cambridge University Press. ISBN 0-521-65116-6.
  • Revista Information Geometry de Springer
  • Introducción a la geometría de la información por Cosma Rohilla Shalizi, julio de 2010
  • Apuntes de Geometría de la Información por John Baez , noviembre de 2012
  • Geometría de la información para redes neuronales (pdf) , por Daniel Wagenaar