Chinchilla (modelo de lenguaje)

Chinchilla es una familia de grandes modelos de lenguaje (LLM) desarrollada por el equipo de investigación de Google DeepMind , presentada en marzo de 2022. ^{[ 1 ]}

Se denomina " chinchilla " porque es un desarrollo posterior de una familia de modelos anterior llamada Gopher. Ambas familias de modelos fueron entrenadas para investigar las leyes de escala de los modelos de lenguaje grandes . ^{[ 2 ]}

Afirmaba superar a GPT-3 . Simplifica considerablemente la utilización posterior porque requiere mucha menos potencia de cálculo para la inferencia y el ajuste fino. Basándose en el entrenamiento de modelos de lenguaje empleados previamente, se ha determinado que si se duplica el tamaño del modelo, también se debe tener el doble de tokens de entrenamiento. Esta hipótesis ha sido utilizada para entrenar a Chinchilla por DeepMind. Similar a Gopher en términos de coste, Chinchilla tiene 70 mil millones de parámetros y cuatro veces más datos (1,4 billones de tokens frente a 300 mil millones). ^{[ 3 ]}

Chinchilla tiene una precisión promedio del 67,5 % en la prueba de referencia MMLU ( Measuring Massive Multitask Language Understanding ), que es un 7 % superior al rendimiento de Gopher. Chinchilla aún se encontraba en fase de pruebas al 12 de enero de 2023. ^{[ 4 ]}

Chinchilla contribuye al desarrollo de un paradigma de entrenamiento eficaz para grandes modelos de lenguaje autorregresivos con recursos computacionales limitados. El equipo de Chinchilla recomienda duplicar el número de tokens de entrenamiento por cada duplicación del tamaño del modelo, lo que significa que el uso de conjuntos de datos de entrenamiento más grandes y de mayor calidad puede conducir a mejores resultados en tareas posteriores. ^{[ 5 ] [ 6 ]}

Se ha utilizado para el modelo de lenguaje-visión Flamingo . ^{[ 7 ]}

Tanto la familia Gopher como la familia Chinchilla son familias de modelos transformables .

En concreto, son esencialmente iguales a GPT-2 , con diferentes tamaños y pequeñas modificaciones. La familia Gopher utiliza RMSNorm en lugar de LayerNorm ; codificación posicional relativa en vez de codificación posicional absoluta. La familia Chinchilla es igual que la familia Gopher, pero entrenada con AdamW en lugar del optimizador Adam .

La familia Gopher incluye seis modelos de tamaño creciente, desde 44 millones de parámetros hasta 280 mil millones. Por defecto, se refieren al modelo más grande como "Gopher". Se aplican convenciones de nomenclatura similares para la familia Chinchilla.

La tabla 1 de ^{[ 2 ]} muestra toda la familia Gopher:

La tabla 4 de ^{[ 1 ]} compara el Chinchilla de 70 mil millones de parámetros con Gopher 280B.

• LaMDA