Hispanopedia Wiki
Articulo de referencia

Infomax

Infomax , o principio de máxima preservación de la información , es un principio de optimización para redes neuronales artificiales y otros sistemas de procesamiento de informac...

Hispanopedia WikiContenido en espanolLectura gratuita

Infomax , o principio de máxima preservación de la información , es un principio de optimización para redes neuronales artificiales y otros sistemas de procesamiento de información. Prescribe que una función que mapea un conjunto de valores de entradaincógnita{\displaystyle x}a un conjunto de valores de salidaz(incógnita){\displaystyle z(x)}debe elegirse o aprenderse de manera que se maximice la información mutua de Shannon promedio entreincógnita{\displaystyle x}yz(incógnita){\displaystyle z(x)}, sujeto a un conjunto de restricciones y/o procesos de ruido específicos. Los algoritmos Infomax son algoritmos de aprendizaje que realizan este proceso de optimización. El principio fue descrito por Linker en 1988. [ 1 ] La función objetivo se denomina objetivo InfoMax.

Dado que el objetivo InfoMax es difícil de calcular con exactitud, una noción relacionada utiliza dos modelos que dan dos resultados.z1(incógnita),z2(incógnita){\ Displaystyle z_ {1} (x), z_ {2} (x)}y maximiza la información mutua entre ellos. Este objetivo InfoMax contrastivo es una cota inferior del objetivo InfoMax. [ 2 ]

Infomax, en su límite de ruido cero, está relacionado con el principio de reducción de redundancia propuesto para el procesamiento sensorial biológico por Horace Barlow en 1961, [ 3 ] y aplicado cuantitativamente al procesamiento retiniano por Atick y Redlich. [ 4 ]

Aplicaciones

(Becker y Hinton, 1992) [ 2 ] demostraron que el objetivo contrastivo InfoMax permite que una red neuronal aprenda a identificar superficies en estereogramas de puntos aleatorios (en una dimensión).

Una de las aplicaciones de Infomax ha sido en un algoritmo de análisis de componentes independientes que encuentra señales independientes maximizando la entropía . El ICA basado en Infomax fue descrito por (Bell y Sejnowski , 1995), [ 5 ] y (Nadal y Parga, 1995). [ 6 ]

Véase también

Referencias

  1. ↑ Linker R (1988). "Autoorganización en una red perceptual". IEEE Computer . 21 (3): 105– 17. doi : 10.1109/2.36 . S2CID 1527671 . 
  2. 1 2 Becker, Suzanna; Hinton, Geoffrey E. (enero de 1992). "Red neuronal autoorganizada que descubre superficies en estereogramas de puntos aleatorios" . Nature . 355 (6356): 161– 163. Bibcode : 1992Natur.355..161B . doi : 10.1038/355161a0 . ISSN 1476-4687 . PMID 1729650 .  
  3. ↑ Barlow, H. (1961). «Posibles principios subyacentes a las transformaciones de los mensajes sensoriales». En Rosenblith, W. (ed.). Comunicación sensorial . Cambridge, MA: MIT Press. pp. 217–234 . 
  4. ↑ Atick JJ, Redlich AN (1992). "¿Qué sabe la retina sobre las escenas naturales?". Neural Computation . 4 (2): 196– 210. doi : 10.1162/neco.1992.4.2.196 . S2CID 17515861 . 
  5. ↑ Bell AJ, Sejnowski TJ (noviembre de 1995). "Un enfoque de maximización de la información para la separación ciega y la deconvolución ciega". Neural Comput . 7 (6): 1129– 59. CiteSeerX 10.1.1.36.6605 . doi : 10.1162/neco.1995.7.6.1129 . PMID 7584893. S2CID 1701422 .   
  6. ↑ Nadal JP, Parga N. (1999). "Codificación sensorial: maximización de la información y reducción de la redundancia". En Burdet, G.; Combe, P.; Parodi, O. (eds.). Procesamiento de la información neuronal . Serie científica mundial en biología matemática y medicina. Vol. 7. Singapur: World Scientific. pp. 164–171 .  
  • Bell AJ, Sejnowski TJ (diciembre de 1997). "Los "componentes independientes " de las escenas naturales son filtros de borde" . Vision Res . 37 (23): 3327–38 . doi : 10.1016/S0042-6989(97)00121-1 . PMC 2882863. PMID 9425547 .  
  • Linsker R (1997). "Una regla de aprendizaje local que permite la maximización de la información para distribuciones de entrada arbitrarias". Neural Computation . 9 (8): 1661– 65. doi : 10.1162/neco.1997.9.8.1661 . S2CID 42857188 ​​. 
  • Stone, JV (2004). Análisis de componentes independientes: Una introducción didáctica . Cambridge, MA: MIT Press. ISBN 978-0-262-69315-8.