Colapso del modelo

En 2024, ^{[ 9 ]} se ha realizado un primer intento de ilustrar el colapso para el modelo más simple posible: una distribución normal unidimensional ajustada utilizando estimadores insesgados de la media y la varianza, calculados en muestras de la generación anterior.

Para ser más precisos, decimos que los datos originales siguen una distribución normal.${\displaystyle X^{0}\sim {\mathcal {N}}(\mu,\sigma ^{2})}$y poseemos${\displaystyle M_{0}}$muestras${\displaystyle X_{j}^{0}}$para${\displaystyle j\in {\{\,1,\dots ,M_{0}\,{}\}}}$. Que denota una muestra general${\displaystyle X_{j}^{i}}$como muestra${\displaystyle j\in {\{\,1,\dots ,M_{i}\,{}\}}}$en generación${\displaystyle i}$, luego se estima el modelo de la siguiente generación utilizando la media y la varianza de la muestra:

${\displaystyle \mu _{i+1}={\frac {1}{M_{i}}}\sum _{j}X_{j}^{i};\quad \sigma _{i+1}^{2}={\frac {1}{M_{i}-1}}\sum _{j}(X_{j}^{i}-\mu _{i+1})^{2}.}$

Lo que conduce a un modelo de próxima generación condicionalmente normal.${\displaystyle X_{j}^{i+1}|\mu _{i+1},\;\sigma _{i+1}\sim {\mathcal {N}}(\mu _{i+1},\sigma _{i+1}^{2})}$En teoría, esto es suficiente para calcular la distribución completa de${\displaystyle X_{j}^{i}}$Sin embargo, incluso después de la primera generación, la distribución completa ya no es normal: sigue una distribución de varianza-gamma .

Para continuar el análisis, en lugar de escribir la función de densidad de probabilidad en cada generación, es posible construirlas explícitamente en términos de variables aleatorias independientes utilizando el teorema de Cochran . Para ser precisos,${\displaystyle \mu _{1}}$y${\displaystyle \sigma _{1}}$son independientes, con${\displaystyle \mu _{1}\sim {\mathcal {N}}\left(\mu ,{\frac {\sigma ^{2}}{M_{0}}}\right)}$y${\displaystyle (M_{0}-1)\,\sigma _{1}^{2}\sim \sigma ^{2}\,\Gamma \left({\frac {M_{0}-1}{2}},{\frac {1}{2}}\right)}$, siguiendo una distribución Gamma . Denotando con${\displaystyle Z}$Variables aleatorias gaussianas distribuidas según${\displaystyle {\mathcal {N}}(0,1)}$y con${\displaystyle S^{i}}$variables aleatorias distribuidas con${\displaystyle {\frac {1}{M_{i-1}-1}}\Gamma \left({\frac {M_{i-1}-1}{2}},{\frac {1}{2}}\right)}$, resulta que es posible escribir muestras en cada generación como

${\textstyle X_{j}^{0}=\mu +\sigma Z_{j}^{0},}$

${\textstyle X_{j}^{1}=\mu +{\frac {\sigma }{\sqrt {M_{0}}}}Z^{1}+\sigma {\sqrt {S^{1}}}Z_{j}^{1},}$

y de forma más general

$${\displaystyle X_{j}^{n}=\mu +{\frac {\sigma }{\sqrt {M_{0}}}}Z^{1}+{\frac {\sigma }{\sqrt {M_{1}}}}{\sqrt {S^{1}}}Z^{2}+\dots +{\frac {\sigma }{\sqrt {M_{n-1}}}}{\sqrt {S^{1}\times \dots \times S^{n-1}}}Z^{n}+\sigma {\sqrt {S^{1}\times \dots \times S^{n}}}Z_{j}^{n}.}$$

Tenga en cuenta que estas no son distribuciones conjuntas, ya que${\displaystyle Z^{n}}$y${\displaystyle S^{n}}$depender directamente de${\displaystyle Z_{j}^{n-1}}$pero al considerar${\displaystyle X_{j}^{n}}$La fórmula anterior, por sí sola, proporciona toda la información sobre la distribución completa.

Para analizar el colapso del modelo, primero podemos calcular la varianza y la media de las muestras en la generación${\displaystyle n}$Esto nos diría qué tipo de distribuciones esperamos obtener después${\displaystyle n}$generaciones. Es posible encontrar su valor exacto en forma cerrada, pero la media y la varianza de la raíz cuadrada de la distribución gamma se expresan en términos de funciones gamma, lo que hace que el resultado sea bastante engorroso. A continuación, ^{[ 9 ]} es posible expandir todos los resultados a segundo orden en cada uno de${\displaystyle 1/M_{i}}$, suponiendo que cada tamaño de muestra sea grande. Entonces es posible demostrar que

${\displaystyle {\frac {1}{\sigma ^{2}}}\operatorname {Var} (X_{j}^{n})={\frac {1}{M_{0}}}+{\frac {1}{M_{1}}}+\dots +{\frac {1}{M_{n-1}}}+1+{\mathcal {O}}\left(M_{i}^{-2}\right).}$

Y si todos los tamaños de muestra${\displaystyle M_{i}=M}$son constantes, esto diverge linealmente como${\displaystyle n\to \infty }$:

${\displaystyle \operatorname {Var} (X_{j}^{n})=\sigma ^{2}\left(1+{\frac {n}{M}}\right);\quad \mathbb {E} (X_{j}^{n})=\mu .}$

Esta es la misma escala que para una caminata aleatoria gaussiana unidimensional . Sin embargo, la divergencia de la varianza de${\displaystyle X_{j}^{n}}$no proporciona directamente ninguna información sobre las estimaciones correspondientes de${\displaystyle \mu _{n+1}}$y${\displaystyle \sigma _{n+1}}$, en particular cuán diferentes son del original${\displaystyle \mu }$y${\displaystyle \sigma }$Resulta posible calcular la distancia entre la distribución verdadera y la distribución aproximada en el paso${\displaystyle n+1}$, utilizando la distancia de Wasserstein-2 (que a veces también se denomina riesgo ):

${\displaystyle \mathbb {E} \left[\mathbb {W} _{2}^{2}\left({\mathcal {N}}(\mu ,\sigma ^{2}),{\mathcal {N}}(\mu _{n+1},\sigma _{n+1}^{2})\right)\right]={\frac {3}{2}}\sigma ^{2}\left({\frac {1}{M_{0}}}+{\frac {1}{M_{1}}}+\dots +{\frac {1}{M_{n}}}\right)+{\mathcal {O}}\left(M_{i}^{-2}\right),}$

${\displaystyle \operatorname {Var} \left[\mathbb {W} _{2}^{2}\left({\mathcal {N}}(\mu ,\sigma ^{2}),{\mathcal {N}}(\mu _{n+1},\sigma _{n+1}^{2})\right)\right]={\frac {1}{2}}\sigma ^{4}\left({\frac {3}{M_{0}^{2}}}+{\frac {3}{M_{1}^{2}}}+\dots +{\frac {3}{M_{n}^{2}}}+\sum _{i\neq j}{\frac {4}{M_{i}M_{j}}}\right)+{\mathcal {O}}\left(M_{i}^{-3}\right).}$

Esto muestra directamente por qué se produce el colapso del modelo en este modelo simple. Debido a errores en el remuestreo de la distribución aproximada, cada generación termina correspondiendo a un nuevo paso en un paseo aleatorio de los parámetros del modelo. Para un tamaño de muestra constante en cada generación, la distancia promedio desde el punto de partida diverge, y para que la aproximación de la distribución final sea precisa, o para que la distancia sea finita, la tasa de muestreo${\displaystyle M_{i}}$necesita aumentar de forma superlineal, es decir, se necesita recolectar cada vez más muestras con el tiempo, quizás de forma cuadrática. Sin embargo, incluso en ese caso, la distancia esperada después${\displaystyle n}$El número de pasos sigue siendo distinto de cero, y el único caso en el que llega a ser cero es cuando el muestreo es infinito en cada paso. En general, esto solo nos muestra cuán lejos, en promedio, se termina de la distribución original, pero el proceso solo puede "terminar" si la varianza estimada en una generación determinada se vuelve lo suficientemente pequeña, convirtiendo efectivamente la distribución en una función delta. Esto se demuestra para un modelo gaussiano general ^{[ 13 ]} en la subsección siguiente. La investigación empírica ha confirmado este análisis teórico. ^{[ 20 ]}

Además, en el caso de un modelo multidimensional con datos totalmente sintéticos, se puede demostrar un colapso exacto. ^{[ 13 ] [ 9 ]}

En el caso de un modelo de regresión lineal , ^{[ 21 ] [ 22 ]} se pueden obtener leyes de escala y límites de aprendizaje.

En el caso de un clasificador softmax lineal para la predicción del siguiente token, ^{[ 23 ]} se pueden obtener límites exactos en el aprendizaje incluso con un conjunto de datos parcialmente sintético.

A medida que los modelos se reentrenan con salidas muestreadas desproporcionadamente del centro de mayor probabilidad de la distribución, las palabras raras y las construcciones sintácticas poco comunes se encuentran entre las primeras características en desaparecer. ^{[ 25 ]} El análisis estadístico del entrenamiento recursivo de predicción del siguiente token ha demostrado que, cuando los modelos de lenguaje se entrenan recursivamente con datos sintéticos, las distribuciones condicionales aprendidas concentran la masa de probabilidad en un pequeño subconjunto de continuaciones altamente predecibles (un fenómeno caracterizado como "colapso total"). ^{[ 26 ]}