Código factorial

La mayoría de los conjuntos de datos reales consisten en vectores de datos cuyos componentes individuales no son estadísticamente independientes . En otras palabras, conocer el valor de un elemento proporciona información sobre el valor de los demás elementos del vector. Cuando esto ocurre, puede ser conveniente crear un código factorial de los datos, es decir, una nueva representación vectorial de cada vector de datos, de forma que quede codificado de manera única por el vector de código resultante (codificación sin pérdidas), pero con componentes del código estadísticamente independientes.

El aprendizaje supervisado posterior suele funcionar mucho mejor cuando los datos de entrada sin procesar se traducen primero a un código factorial. Por ejemplo, supongamos que el objetivo final es clasificar imágenes con píxeles altamente redundantes. Un clasificador bayesiano ingenuo asumirá que los píxeles son variables aleatorias estadísticamente independientes y, por lo tanto, no producirá buenos resultados. Sin embargo, si los datos se codifican primero de forma factorial, el clasificador bayesiano ingenuo alcanzará su rendimiento óptimo (véase Schmidhuber et al., 1996).

Para crear códigos factoriales, Horace Barlow y colaboradores sugirieron minimizar la suma de las entropías de bits de los componentes de los códigos binarios (1989). Jürgen Schmidhuber (1992) reformuló el problema en términos de predictores y detectores de características binarias , cada uno de los cuales recibe los datos brutos como entrada. Para cada detector existe un predictor que observa a los demás detectores y aprende a predecir la salida de su propio detector en respuesta a los diversos vectores o imágenes de entrada. Sin embargo, cada detector utiliza un algoritmo de aprendizaje automático para volverse lo más impredecible posible. El óptimo global de esta función objetivo corresponde a un código factorial representado de forma distribuida entre las salidas de los detectores de características.

Painsky, Rosset y Feder (2016, 2017) estudiaron este problema en el contexto del análisis de componentes independientes sobre alfabetos de tamaño finito. Mediante una serie de teoremas, demuestran que el problema de codificación factorial puede resolverse con precisión mediante un algoritmo de árbol de búsqueda de ramificación y acotación, o aproximarse con precisión mediante una serie de problemas lineales. Además, introducen una transformación sencilla (la permutación de orden) que proporciona una aproximación voraz pero muy eficaz de la solución óptima. En la práctica, demuestran que, con una implementación cuidadosa, las propiedades favorables de la permutación de orden pueden lograrse con una complejidad computacional asintóticamente óptima. Es importante destacar que proporcionan garantías teóricas, demostrando que, si bien no todos los vectores aleatorios pueden descomponerse eficientemente en componentes independientes, la mayoría de los vectores se descomponen muy bien (es decir, con un pequeño coste constante) a medida que aumenta la dimensión. Además, demuestran el uso de códigos factoriales para la compresión de datos en múltiples configuraciones (2017).

• Separación ciega de señales (BSS)
• Análisis de componentes principales (ACP)
• Análisis factorial
• Aprendizaje no supervisado
• Procesamiento de imágenes
• Procesamiento de señales

• Horace Barlow , TP Kaushal y GJ Mitchison. Búsqueda de códigos de entropía mínima. Neural Computation, 1:412-423, 1989.
• Jürgen Schmidhuber . Aprendizaje de códigos factoriales mediante la minimización de la predictibilidad. Neural Computation, 4(6):863-879, 1992.
• J. Schmidhuber, M. Eldracher y B. Foltin. La minimización de la predictibilidad semilineal produce detectores de características bien conocidos. Neural Computation, 8(4):773-786, 1996.
• A. Painsky, S. Rosset y M. Feder. Análisis generalizado de componentes independientes sobre alfabetos finitos. IEEE Transactions on Information Theory, 62(2):1038-1053, 2016.
• A. Painsky, S. Rosset y M. Feder. Codificación de fuente de alfabeto grande mediante análisis de componentes independientes. IEEE Transactions on Information Theory, 63(10):6514 - 6529, 2017.