Método del cuello de botella de la información

El método del cuello de botella de la información es una técnica de la teoría de la información introducida por Naftali Tishby , Fernando C. Pereira y William Bialek . ^{[ 1 ]} Está diseñado para encontrar el mejor equilibrio entre precisión y complejidad ( compresión ) al resumir (por ejemplo, agrupar ) una variable aleatoria X , dada una distribución de probabilidad conjunta p(X,Y) entre X y una variable relevante observada Y , y se describe a sí mismo como un marco sorprendentemente rico para analizar diversos problemas en el procesamiento de señales y el aprendizaje . ^{[ 1 ]}

Entre sus aplicaciones se incluyen la agrupación distribucional y la reducción de dimensionalidad , y más recientemente se ha propuesto como fundamento teórico para el aprendizaje profundo . Generaliza la noción clásica de estadística suficiente mínima , desde la estadística paramétrica hasta distribuciones arbitrarias, no necesariamente de forma exponencial. Lo hace relajando la condición de suficiencia para capturar una fracción de la información mutua con la variable relevante Y.

El cuello de botella de la información también puede verse como un problema de distorsión de la tasa , con una función de distorsión que mide qué tan bien se predice Y a partir de una representación comprimida T en comparación con su predicción directa a partir de X. Esta interpretación proporciona un algoritmo iterativo general para resolver la compensación del cuello de botella de la información y calcular la curva de información a partir de la distribución p(X,Y) .

Sea la representación comprimida dada por una variable aleatoria.${\displaystyle T}$El algoritmo minimiza el siguiente funcional con respecto a la distribución condicional.${\displaystyle p(t|x)}$:

${\displaystyle \inf _{p(t|x)}\,\,{\Big (}I(X;T)-\beta I(T;Y){\Big )},}$

dónde${\displaystyle I(X;T)}$y${\displaystyle I(T;Y)}$son la información mutua de${\displaystyle X}$y${\displaystyle T}$y de${\displaystyle T}$y${\displaystyle Y}$, respectivamente, y${\displaystyle \beta }$es un multiplicador de Lagrange .

Se ha demostrado matemáticamente que controlar el cuello de botella de información es una forma de controlar el error de generalización en el aprendizaje profundo. ^{[ 2 ]} Es decir, se ha demostrado que el error de generalización escala como${\displaystyle {\tilde {O}}\left({\sqrt {\frac {I(X,T)+1}{n}}}\right)}$dónde${\displaystyle n}$es el número de muestras de entrenamiento,${\displaystyle X}$es la entrada a una red neuronal profunda, y${\displaystyle T}$es la salida de una capa oculta. Este límite de generalización escala con el grado de cuello de botella de información, a diferencia de los otros límites de generalización que escalan con el número de parámetros, la dimensión VC , la complejidad de Rademacher , la estabilidad o la robustez.

La teoría del cuello de botella de la información se utiliza recientemente para estudiar las redes neuronales profundas (DNN). ^{[ 3 ]} Considere${\displaystyle X}$y${\displaystyle Y}$respectivamente como las capas de entrada y salida de una DNN, y dejemos${\displaystyle T}$ser cualquier capa oculta de la red. Shwartz-Ziv y Tishby propusieron el cuello de botella de información que expresa la compensación entre las medidas de información mutua.${\displaystyle I(X,T)}$y${\displaystyle I(T,Y)}$. En este caso,${\displaystyle I(X,T)}$y${\displaystyle I(T,Y)}$cuantifican respectivamente la cantidad de información que la capa oculta contiene sobre la entrada y la salida. Conjeturaron que el proceso de entrenamiento de una DNN consta de dos fases separadas; 1) una fase de ajuste inicial en la que${\displaystyle I(T,Y)}$aumenta, y 2) una fase de compresión posterior en la que${\displaystyle I(X,T)}$disminuye. Saxe et al. en ^{[ 4 ]} rebatieron la afirmación de Shwartz-Ziv y Tishby, ^{[ 3 ]} afirmando que este fenómeno de compresión en DNN no es exhaustivo y depende de la función de activación particular . En particular, afirmaron que la compresión no ocurre con funciones de activación ReLU. Shwartz-Ziv y Tishby cuestionaron estas afirmaciones, argumentando que Saxe et al. no habían observado compresión debido a estimaciones débiles de la información mutua. Por otro lado, recientemente Goldfeld et al. han argumentado que la compresión observada es resultado de fenómenos geométricos, y no de fenómenos de la teoría de la información, ^{[ 5 ]} una visión que también se ha compartido en. ^{[ 6 ]}

El cuello de botella gaussiano, ^{[ 7 ]} es decir, la aplicación del enfoque del cuello de botella de información a variables gaussianas, conduce a soluciones relacionadas con el análisis de correlación canónica . Supongamos que${\displaystyle X,Y\,}$son conjuntamente vectores normales multivariados de media cero con covarianzas${\displaystyle \Sigma _{XX},\,\,\Sigma _{YY}}$y${\displaystyle T\,}$es una versión comprimida de${\displaystyle X\,}$que debe mantener un valor determinado de información mutua con${\displaystyle Y\,}$Se puede demostrar que el óptimo${\displaystyle T\,}$es un vector normal que consiste en combinaciones lineales de los elementos de${\displaystyle X,\,\,T=AX\,}$donde matriz${\displaystyle A\,}$tiene filas ortogonales.

La matriz de proyección${\displaystyle A\,}$de hecho contiene${\displaystyle M\,}$filas seleccionadas de los autovectores izquierdos ponderados de la descomposición en valores singulares de la matriz (generalmente asimétrica)

${\displaystyle \Omega =\Sigma _{X|Y}\Sigma _{XX}^{-1}=I-\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{XY}^{T}\Sigma _{XX}^{-1}.\,}$

Defina la descomposición en valores singulares.

${\displaystyle \Omega =U\Lambda V^{T}{\text{ with }}\Lambda =\operatorname {Diag} {\big (}\lambda _{1}\leq \lambda _{2}\cdots \lambda _{N}{\big )}\,}$

y los valores críticos

${\displaystyle \beta _{i}^{C}{\underset {\lambda _{i}<1}{=}}(1-\lambda _{i})^{-1}.\,}$

entonces el número${\displaystyle M\,}$de autovectores activos en la proyección, u orden de aproximación, viene dado por

${\displaystyle \beta _{M-1}^{C}<\beta \leq \beta _{M}^{C}}$

Y finalmente lo conseguimos

${\displaystyle A=[w_{1}U_{1},\dots ,w_{M}U_{M}]^{T}}$

En el que los pesos vienen dados por

${\displaystyle w_{i}={\sqrt {\left(\beta (1-\lambda _{i})-1\right)/\lambda _{i}r_{i}}}}$

dónde${\displaystyle r_{i}=U_{i}^{T}\Sigma _{XX}U_{i}.\,}$

La aplicación del cuello de botella de información gaussiano a series temporales (procesos) produce soluciones relacionadas con la codificación predictiva óptima . Este procedimiento es formalmente equivalente al análisis lineal de características lentas. ^{[ 8 ]}

Las estructuras temporales óptimas en sistemas dinámicos lineales pueden revelarse en el llamado cuello de botella de información pasado-futuro, una aplicación del método del cuello de botella a datos muestreados no gaussianos. ^{[ 9 ]} El concepto, tal como lo tratan Creutzig, Tishby et al., no está exento de complicaciones, ya que el ejercicio consta de dos fases independientes: primero, la estimación de las densidades de probabilidad parentales desconocidas de las cuales se extraen las muestras de datos y, segundo, el uso de estas densidades dentro del marco teórico de la información del cuello de botella.

Para categorizar una nueva muestra${\displaystyle x'\,}$externo al conjunto de entrenamiento${\displaystyle X\,}$, la métrica de distancia anterior encuentra las probabilidades de transición entre${\displaystyle x'\,}$y todas las muestras en${\displaystyle X:\,\,}$,${\displaystyle {\tilde {p}}(x_{i})=p(x_{i}|x')=\mathrm {K} \exp {\Big (}-\lambda f{\big (}{\Big |}x_{i}-x'{\Big |}{\big )}{\Big )}}$con${\displaystyle \mathrm {K} \,}$una normalización. En segundo lugar, aplique las dos últimas líneas del algoritmo de 3 líneas para obtener las probabilidades de clúster y de categoría condicional.

${\displaystyle {\begin{aligned}&{\tilde {p}}(c_{i})=p(c_{i}|x')=\sum _{j}p(c_{i}|x_{j})p(x_{j}|x')=\sum _{j}p(c_{i}|x_{j}){\tilde {p}}(x_{j})\\&p(y_{i}|c_{j})=\sum _{k}p(y_{i}|x_{k})p(c_{j}|x_{k})p(x_{k}|x')/p(c_{j}|x')=\sum _{k}p(y_{i}|x_{k})p(c_{j}|x_{k}){\tilde {p}}(x_{k})/{\tilde {p}}(c_{j})\\\end{aligned}}}$

Finalmente

${\displaystyle p(y_{i}|x')=\sum _{j}p(y_{i}|c_{j})p(c_{j}|x'))=\sum _{j}p(y_{i}|c_{j}){\tilde {p}}(c_{j})\,}$

Parámetro${\displaystyle \beta \,}$debe mantenerse bajo estrecha supervisión ya que, a medida que aumenta desde cero, un número creciente de características, en el espacio de probabilidad de la categoría , se enfocan en ciertos umbrales críticos.

Un ejemplo

El siguiente caso examina la agrupación en un multiplicador de cuatro cuadrantes con entradas aleatorias.${\displaystyle u,v\,}$y dos categorías de resultados,${\displaystyle \pm 1\,}$, generado por${\displaystyle y=\operatorname {sign} (uv)\,}$Esta función tiene dos grupos espacialmente separados para cada categoría y, por lo tanto, demuestra que el método puede manejar este tipo de distribuciones.

Se toman 20 muestras, distribuidas uniformemente en la plaza.${\displaystyle [-1,1]^{2}\,}$El número de clústeres utilizados más allá del número de categorías, dos en este caso, tiene poco efecto en el rendimiento y los resultados se muestran para dos clústeres utilizando parámetros${\displaystyle \lambda =3,\,\beta =2.5}$.

La función de distancia es${\displaystyle d_{i,j}={\Big |}x_{i}-x_{j}{\Big |}^{2}}$dónde${\displaystyle x_{i}=(u_{i},v_{i})^{T}\,}$mientras que la distribución condicional${\displaystyle p(y|x)\,}$es una matriz de 2  × 20 

${\displaystyle {\begin{aligned}&Pr(y_{i}=1)=1{\text{ if }}\operatorname {sign} (u_{i}v_{i})=1\,\\&Pr(y_{i}=-1)=1{\text{ if }}\operatorname {sign} (u_{i}v_{i})=-1\,\end{aligned}}}$

y cero en ningún otro lugar.

La suma en la línea 2 incorpora solo dos valores que representan los valores de entrenamiento de +1 o − 1, pero no obstante funciona bien. La figura muestra las ubicaciones de las veinte muestras con '0' representando Y = 1 y 'x' representando Y = − 1. Se muestra el contorno en el nivel de razón de verosimilitud unitaria,

${\displaystyle L={\frac {\Pr(1)}{\Pr(-1)}}=1}$

como una nueva muestra${\displaystyle x'\,}$se escanea sobre el cuadrado. Teóricamente, el contorno debería alinearse con el${\displaystyle u=0\,}$y${\displaystyle v=0\,}$coordenadas, pero para un número tan pequeño de muestras, en cambio, han seguido las agrupaciones espurias de los puntos de muestra.

Una extensión interesante es el caso del cuello de botella de información con información lateral. ^{[ 14 ]} Aquí se maximiza la información sobre una variable objetivo y se minimiza sobre otra, aprendiendo una representación que es informativa sobre aspectos seleccionados de los datos. Formalmente

${\displaystyle \min _{p(t|x)}\,\,I(X;T)-\beta ^{+}I(T;Y^{+})+\beta ^{-}I(T;Y^{-})}$

• Weiss, Y. (1999), "Segmentación mediante vectores propios: una visión unificadora", Actas de la Conferencia Internacional IEEE sobre Visión por Computadora (PDF) , págs. 975–982 
• P. Harremoës y N. Tishby «El cuello de botella de la información revisitado o cómo elegir una buena medida de distorsión». En las actas del Simposio Internacional sobre Teoría de la Información (ISIT) 2007.