Aritmética de precisión mixta

Un número de punto flotante se suele empaquetar en una única cadena de bits, como el bit de signo, el campo del exponente y la mantisa o significando, de izquierda a derecha. Por ejemplo, un número de punto flotante de 32 bits estándar IEEE 754 ("FP32", "float32" o "binary32") se empaqueta de la siguiente manera:

Los números de coma flotante binarios IEEE 754 son:

PyTorch implementa precisión mixta automática (AMP), que realiza conversión automática, escalado de gradiente y escalado de pérdida. ^{[ 6 ] [ 7 ]}

• Los pesos se almacenan en una copia maestra con alta precisión, generalmente en formato FP32.
• La conversión automática consiste en convertir automáticamente un número de punto flotante entre diferentes precisiones, como de FP32 a FP16, durante el entrenamiento. Por ejemplo, las multiplicaciones de matrices a menudo se pueden realizar en FP16 sin pérdida de precisión, incluso si los pesos de la copia maestra se almacenan en FP32. Los pesos de baja precisión se utilizan durante la pasada hacia adelante.
• El escalado de gradientes significa multiplicar los gradientes por un factor constante durante el entrenamiento, normalmente antes de la actualización del optimizador de pesos . Esto se hace para evitar que los gradientes se desborden a cero cuando se utilizan tipos de datos de baja precisión como FP16. Matemáticamente, si el gradiente sin escalar es${\displaystyle \mathbf {g} }$, el gradiente escalado es${\displaystyle s\mathbf {g} }$dónde${\displaystyle s}$es el factor de escala. Dentro de la actualización del optimizador, el gradiente escalado se convierte a una precisión mayor antes de ser reducido (ya no hay subdesbordamiento, ya que está en una precisión mayor) para actualizar los pesos.
• El escalado de la pérdida significa multiplicar la función de pérdida por un factor constante durante el entrenamiento, normalmente antes de la retropropagación . Esto se hace para evitar que los gradientes se desborden a cero cuando se utilizan tipos de datos de baja precisión. Si la pérdida no escalada es${\displaystyle {\mathcal {L}}}$, la pérdida escalada es${\displaystyle k{\mathcal {L}}}$dónde${\displaystyle k}$es el factor de escala. Dado que el escalado de gradiente y el escalado de pérdida son matemáticamente equivalentes por${\displaystyle {\frac {\partial (k{\mathcal {L}})}{\partial \mathbf {w} }}=k{\frac {\partial {\mathcal {L}}}{\partial \mathbf {w} }}}$El escalado de pérdida es una implementación del escalado de gradiente.

PyTorch AMP utiliza un retroceso exponencial para ajustar automáticamente el factor de escala de la función de pérdida. Es decir, incrementa periódicamente el factor de escala. Cuando los gradientes contienen un NaN (que indica desbordamiento), se omite la actualización de los pesos y se reduce el factor de escala.