Normalización (aprendizaje automático)

En el aprendizaje automático , la normalización es una técnica estadística con diversas aplicaciones. Existen dos formas principales de normalización: la normalización de datos y la normalización de activación . La normalización de datos (o escalado de características ) incluye métodos que reescalan los datos de entrada para que las características tengan el mismo rango, media, varianza u otras propiedades estadísticas. Por ejemplo, un método popular de escalado de características es la normalización min-max , donde cada característica se transforma para tener el mismo rango (normalmente o ). Esto resuelve el problema de que diferentes características tengan escalas muy diferentes, por ejemplo, si una característica se mide en kilómetros y otra en nanómetros. ${\displaystyle [0,1]}$${\displaystyle [-1,1]}$

Por otro lado, la normalización de la activación es específica del aprendizaje profundo e incluye métodos que reescalan la activación de las neuronas ocultas dentro de las redes neuronales .

La normalización se utiliza a menudo para:

• aumentar la velocidad de convergencia del entrenamiento,
• reducir la sensibilidad a las variaciones y escalas de características en los datos de entrada,
• reducir el sobreajuste ,
• y producir una mejor generalización del modelo a datos no vistos.

Las técnicas de normalización a menudo se justifican teóricamente por reducir el desplazamiento de la covarianza, suavizar los paisajes de optimización y aumentar la regularización , aunque se justifican principalmente por el éxito empírico. ^{[ 1 ]}

La normalización por lotes ( BatchNorm ) ^{[ 2 ]} opera sobre las activaciones de una capa para cada mini-lote.

Consideremos una red neuronal de alimentación directa simple, definida mediante la encadenación de módulos:

$${\displaystyle x^{(0)}\mapsto x^{(1)}\mapsto x^{(2)}\mapsto \cdots }$$

donde cada módulo de red puede ser una transformación lineal, una función de activación no lineal, una convolución, etc. es el vector de entrada, es el vector de salida del primer módulo, etc. ${\displaystyle x^{(0)}}$${\displaystyle x^{(1)}}$

BatchNorm es un módulo que se puede insertar en cualquier punto de la red de propagación directa. Por ejemplo, supongamos que se inserta justo después de , entonces la red funcionaría en consecuencia: ${\displaystyle x^{(l)}}$

$${\displaystyle \cdots \mapsto x^{(l)}\mapsto \mathrm {BN} (x^{(l)})\mapsto x^{(l+1)}\mapsto \cdots }$$

El módulo BatchNorm no opera sobre entradas individuales. En cambio, debe operar sobre un lote de entradas a la vez.

Concretamente, supongamos que tenemos un lote de entradas , introducidas todas a la vez en la red. En el centro de la red obtendríamos algunos vectores: ${\displaystyle x_{(1)}^{(0)},x_{(2)}^{(0)},\dots ,x_{(B)}^{(0)}}$

$${\displaystyle x_{(1)}^{(l)},x_{(2)}^{(l)},\dots ,x_{(B)}^{(l)}}$$

El módulo BatchNorm calcula la media y la varianza de estos vectores coordenada por coordenada:

$${\displaystyle {\begin{aligned}\mu _{i}^{(l)}&={\frac {1}{B}}\sum _{b=1}^{B}x_{(b),i}^{(l)}\\(\sigma _{i}^{(l)})^{2}&={\frac {1}{B}}\sum _{b=1}^{B}(x_{(b),i}^{(l)}-\mu _{i}^{(l)})^{2}\end{aligned}}}$$

donde indexa las coordenadas de los vectores e indexa los elementos del lote. En otras palabras, estamos considerando la -ésima coordenada de cada vector en el lote y calculando la media y la varianza de estos números. ${\displaystyle i}$${\displaystyle b}$${\displaystyle i}$

Luego, normaliza cada coordenada para que tenga media cero y varianza unitaria:

$${\displaystyle {\hat {x}}_{(b),i}^{(l)}={\frac {x_{(b),i}^{(l)}-\mu _{i}^{(l)}}{\sqrt {(\sigma _{i}^{(l)})^{2}+\epsilon }}}}$$

Es una pequeña constante positiva, como la que se añade a la varianza para la estabilidad numérica, para evitar la división por cero . ${\displaystyle \epsilon }$${\displaystyle 10^{-9}}$

Finalmente, aplica una transformación lineal:

$${\displaystyle y_{(b),i}^{(l)}=\gamma _{i}{\hat {x}}_{(b),i}^{(l)}+\beta _{i}}$$

Aquí, y son parámetros dentro del módulo BatchNorm. Son parámetros aprendibles, normalmente entrenados mediante descenso de gradiente . ${\displaystyle \gamma }$${\displaystyle \beta }$

A continuación se muestra una implementación en Python de BatchNorm:

import numpy as npdef batchnorm ( x , gamma , beta , epsilon = 1e-9 ): # Media y varianza de cada característica mu = np . mean ( x , axis = 0 ) # forma (N,) var = np . var ( x , axis = 0 ) # forma (N,)# Normalizar las activaciones x_hat = ( x - mu ) / np . sqrt ( var + epsilon ) # forma (B, N)# Aplicar la transformación lineal y = gamma * x_hat + beta # forma (B, N)regresar y

${\displaystyle \gamma }$y permitir que la red aprenda a deshacer la normalización, si esto es beneficioso. ^{[ 3 ]} BatchNorm puede interpretarse como la eliminación de las transformaciones puramente lineales, de modo que sus capas se centren únicamente en modelar los aspectos no lineales de los datos, lo cual puede ser beneficioso, ya que una red neuronal siempre puede ampliarse con una capa de transformación lineal en la parte superior. ^{[ 4 ] [ 3 ]}${\displaystyle \beta }$

En la publicación original se afirma que BatchNorm funciona reduciendo el cambio de covarianza interna, aunque esta afirmación tiene tanto partidarios ^{[ 5 ] [ 6 ]} como detractores. ^{[ 7 ] [ 8 ]}

El artículo original ^{[ 2 ]} recomendaba usar BatchNorms solo después de una transformación lineal, no después de una activación no lineal. Es decir, , no . Además, el sesgo no importa, ya que se cancelaría con la resta de la media posterior, por lo que tiene la forma . Es decir, si un BatchNorm va precedido de una transformación lineal, entonces el término de sesgo de esa transformación lineal se establece en cero. ^{[ 2 ]}${\displaystyle \phi (\mathrm {BN} (Wx+b))}$${\displaystyle \mathrm {BN} (\phi (Wx+b))}$${\displaystyle b}$${\displaystyle \mathrm {BN} (Wx)}$

Para las redes neuronales convolucionales (CNN), BatchNorm debe preservar la invariancia de traslación de estos modelos, lo que significa que debe tratar todas las salidas del mismo núcleo como si fueran puntos de datos diferentes dentro de un lote. ^{[ 2 ]} Esto a veces se denomina BatchNorm espacial, o BatchNorm2D, o BatchNorm por canal. ^{[ 9 ] [ 10 ]}

Concretamente, supongamos que tenemos una capa convolucional bidimensional definida por:

$${\displaystyle x_{h,w,c}^{(l)}=\sum _{h',w',c'}K_{h'-h,w'-w,c,c'}^{(l)}x_{h',w',c'}^{(l-1)}+b_{c}^{(l)}}$$

dónde:

• ${\displaystyle x_{h,w,c}^{(l)}}$es la activación de la neurona en la posición en el canal -ésimo de la capa -ésima.${\displaystyle (h,w)}$${\displaystyle c}$${\displaystyle l}$
• ${\displaystyle K_{\Delta h,\Delta w,c,c'}^{(l)}}$es un tensor de núcleo. Cada canal corresponde a un núcleo , con índices .${\displaystyle c}$${\displaystyle K_{h'-h,w'-w,c,c'}^{(l)}}$${\displaystyle \Delta h,\Delta w,c'}$
• ${\displaystyle b_{c}^{(l)}}$es el término de polarización para el -ésimo canal de la -ésima capa.${\displaystyle c}$${\displaystyle l}$

Para preservar la invariancia traslacional, BatchNorm trata todas las salidas del mismo kernel en el mismo lote como más datos en un lote. Es decir, se aplica una vez por kernel (o equivalentemente, una vez por canal ), no por activación : ${\displaystyle c}$${\displaystyle c}$${\displaystyle x_{h,w,c}^{(l+1)}}$

$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{(b),h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{BHW}}\sum _{b=1}^{B}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\end{aligned}}}$$

donde es el tamaño del lote, es la altura del mapa de características y es el ancho del mapa de características. ${\displaystyle B}$${\displaystyle H}$${\displaystyle W}$

Es decir, aunque solo haya puntos de datos en un lote, todas las salidas del kernel en este lote se tratan por igual. ^{[ 2 ]}${\displaystyle B}$${\displaystyle BHW}$

Posteriormente, la normalización y la transformación lineal también se realizan por núcleo:

$${\displaystyle {\begin{aligned}{\hat {x}}_{(b),h,w,c}^{(l)}&={\frac {x_{(b),h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{(b),h,w,c}^{(l)}&=\gamma _{c}{\hat {x}}_{(b),h,w,c}^{(l)}+\beta _{c}\end{aligned}}}$$

Consideraciones similares se aplican a BatchNorm para convoluciones n -dimensionales.

A continuación se muestra una implementación en Python de BatchNorm para convoluciones 2D:

import numpy as npdef batchnorm_cnn ( x , gamma , beta , epsilon = 1e-9 ): # Calcula la media y la varianza para cada canal . media = np.media ( x , axis = ( 0 , 1 , 2 ) , keepdims = True ) varianza = np.var ( x , axis = ( 0 , 1 , 2 ) , keepdims = True )# Normaliza el tensor de entrada. x_hat = ( x - media ) / np . sqrt ( var + epsilon )# Escala y desplaza el tensor normalizado. y = gamma * x_hat + betaregresar y

Para redes neuronales recurrentes multicapa (RNN), BatchNorm generalmente se aplica solo para la parte de entrada a oculta , no para la parte oculta a oculta . ^{[ 11 ]} Sea el estado oculto de la capa -ésima en el tiempo . La RNN estándar, sin normalización, satisface donde son pesos y sesgos, y es la función de activación. Al aplicar BatchNorm, esto se convierte en Hay dos formas posibles de definir qué es un "lote" en BatchNorm para RNN: por fotograma y por secuencia . Concretamente, considere aplicar una RNN para procesar un lote de oraciones. Sea el estado oculto de la capa -ésima para el token -ésimo de la oración de entrada -ésima. Entonces BatchNorm por fotograma significa normalizar sobre : y por secuencia significa normalizar sobre : BatchNorm por fotograma es adecuado para tareas causales como la predicción del siguiente carácter, donde los fotogramas futuros no están disponibles, lo que obliga a la normalización por fotograma. La normalización por lotes secuencial es adecuada para tareas como el reconocimiento de voz, donde se dispone de secuencias completas, pero con longitudes variables. En un lote, las secuencias más cortas se rellenan con ceros para igualar el tamaño de la secuencia más larga del lote. En tales configuraciones, no se recomienda la normalización por fotogramas, ya que el número de fotogramas sin rellenar disminuye a lo largo del eje temporal, lo que conlleva estimaciones estadísticas cada vez peores. ^{[ 11 ]}${\displaystyle l}$${\displaystyle t}$${\displaystyle h_{t}^{(l)}}$$${\displaystyle h_{t}^{(l)}=\phi (W^{(l)}h_{t}^{l-1}+U^{(l)}h_{t-1}^{l}+b^{(l)})}$$${\displaystyle W^{(l)},U^{(l)},b^{(l)}}$${\displaystyle \phi }$$${\displaystyle h_{t}^{(l)}=\phi (\mathrm {BN} (W^{(l)}h_{t}^{l-1})+U^{(l)}h_{t-1}^{l})}$$${\displaystyle h_{b,t}^{(l)}}$${\displaystyle l}$${\displaystyle t}$${\displaystyle b}$${\displaystyle b}$$${\displaystyle {\begin{aligned}\mu _{t}^{(l)}&={\frac {1}{B}}\sum _{b=1}^{B}h_{i,t}^{(l)}\\(\sigma _{t}^{(l)})^{2}&={\frac {1}{B}}\sum _{b=1}^{B}(h_{t}^{(l)}-\mu _{t}^{(l)})^{2}\end{aligned}}}$$${\displaystyle (b,t)}$$${\displaystyle {\begin{aligned}\mu ^{(l)}&={\frac {1}{BT}}\sum _{b=1}^{B}\sum _{t=1}^{T}h_{i,t}^{(l)}\\(\sigma ^{(l)})^{2}&={\frac {1}{BT}}\sum _{b=1}^{B}\sum _{t=1}^{T}(h_{t}^{(l)}-\mu ^{(l)})^{2}\end{aligned}}}$$

También es posible aplicar BatchNorm a las LSTM . ^{[ 12 ]}

BatchNorm ha sido muy popular y se han intentado muchas mejoras. Algunos ejemplos incluyen: ^{[ 13 ]}

• Procesamiento por lotes fantasma: divida aleatoriamente un lote en sublotes y aplique BatchNorm por separado a cada uno;
• descomposición del peso en y ;${\displaystyle \gamma }$${\displaystyle \beta }$
• y combinando BatchNorm con GroupNorm.

Un problema particular de BatchNorm es que, durante el entrenamiento, la media y la varianza se calculan sobre la marcha para cada lote (generalmente como una media móvil exponencial ), pero durante la inferencia, la media y la varianza se congelan a partir de las calculadas durante el entrenamiento. Esta disparidad entre entrenamiento y prueba degrada el rendimiento. La disparidad se puede reducir simulando la media móvil durante la inferencia: ^{[ 13 ] : Ec. 3}

$${\displaystyle {\begin{aligned}\mu &=\alpha E[x]+(1-\alpha )\mu _{x,{\text{ train}}}\\\sigma ^{2}&=(\alpha E[x]^{2}+(1-\alpha )\mu _{x^{2},{\text{ train}}})-\mu ^{2}\end{aligned}}}$$

donde es un hiperparámetro que se debe optimizar en un conjunto de validación. ${\displaystyle \alpha }$

Otros trabajos intentan eliminar BatchNorm, como por ejemplo ResNet sin normalizador. ^{[ 14 ]}

La normalización de capas ( LayerNorm ) ^{[ 15 ]} es una alternativa popular a BatchNorm. A diferencia de BatchNorm, que normaliza las activaciones en toda la dimensión del lote para una característica dada, LayerNorm las normaliza en todas las características dentro de una única muestra de datos. En comparación con BatchNorm, el rendimiento de LayerNorm no se ve afectado por el tamaño del lote. Es un componente clave de los modelos Transformer .

Para una entrada de datos y una capa dadas, LayerNorm calcula la media y la varianza de todas las neuronas de la capa. De forma similar a BatchNorm, se aplican parámetros entrenables (escala) y (desplazamiento). Se define mediante: ${\displaystyle \mu }$${\displaystyle \sigma ^{2}}$${\displaystyle \gamma }$${\displaystyle \beta }$

$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}-\mu }{\sqrt {\sigma ^{2}+\epsilon }}},\quad y_{i}=\gamma _{i}{\hat {x_{i}}}+\beta _{i}}$$

dónde:

$${\displaystyle \mu ={\frac {1}{D}}\sum _{i=1}^{D}x_{i},\quad \sigma ^{2}={\frac {1}{D}}\sum _{i=1}^{D}(x_{i}-\mu )^{2}}$$

y el índice abarca las neuronas de esa capa. ${\displaystyle i}$

Por ejemplo, en CNN, LayerNorm se aplica a todas las activaciones de una capa. En la notación anterior, tenemos:

$${\displaystyle {\begin{aligned}\mu ^{(l)}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}x_{h,w,c}^{(l)}\\(\sigma ^{(l)})^{2}&={\frac {1}{HWC}}\sum _{h=1}^{H}\sum _{w=1}^{W}\sum _{c=1}^{C}(x_{h,w,c}^{(l)}-\mu ^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu ^{(l)}}{\sqrt {(\sigma ^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma ^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta ^{(l)}\end{aligned}}}$$

Observe que se elimina el índice de lotes , mientras que se agrega el índice de canales. ${\displaystyle b}$${\displaystyle c}$

En las redes neuronales recurrentes ^{[ 15 ]} y los transformadores ^{[ 16 ]} , LayerNorm se aplica individualmente a cada paso de tiempo. Por ejemplo, si el vector oculto en una RNN en el paso de tiempo es , donde es la dimensión del vector oculto, entonces LayerNorm se aplicará con: ${\displaystyle t}$${\displaystyle x^{(t)}\in \mathbb {R} ^{D}}$${\displaystyle D}$

$${\displaystyle {\hat {x_{i}}}^{(t)}={\frac {x_{i}^{(t)}-\mu ^{(t)}}{\sqrt {(\sigma ^{(t)})^{2}+\epsilon }}},\quad y_{i}^{(t)}=\gamma _{i}{\hat {x_{i}}}^{(t)}+\beta _{i}}$$

dónde:

$${\displaystyle \mu ^{(t)}={\frac {1}{D}}\sum _{i=1}^{D}x_{i}^{(t)},\quad (\sigma ^{(t)})^{2}={\frac {1}{D}}\sum _{i=1}^{D}(x_{i}^{(t)}-\mu ^{(t)})^{2}}$$

Normalización de la capa de raíz cuadrática media ( RMSNorm ): ^{[ 17 ]}

$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}}{\sqrt {{\frac {1}{D}}\sum _{j=1}^{D}x_{j}^{2}}}},\quad y_{i}=\gamma {\hat {x_{i}}}+\beta }$$

Esencialmente, es LayerNorm donde imponemos . También se le llama normalización L2 . Es un caso especial de normalización Lp , o normalización de potencia : donde es una constante. ${\displaystyle \mu ,\epsilon =0}$$${\displaystyle {\hat {x_{i}}}={\frac {x_{i}}{\left({\frac {1}{D}}\sum _{j=1}^{D}|x_{j}|^{p}\right)^{1/p}}},\quad y_{i}=\gamma {\hat {x_{i}}}+\beta }$$${\displaystyle p>0}$

La norma de capa adaptativa ( adaLN ) calcula la en un LayerNorm no a partir de la activación de la capa en sí, sino a partir de otros datos. Fue propuesta por primera vez para CNN, ^{[ 18 ]} y se ha utilizado eficazmente en transformadores de difusión (DiT). ^{[ 19 ]} Por ejemplo, en un DiT, la información de condicionamiento (como un vector de codificación de texto) es procesada por un perceptrón multicapa en , que luego se aplica en el módulo LayerNorm de un transformador. ${\displaystyle \gamma ,\beta }$${\displaystyle \gamma ,\beta }$

La normalización de pesos ( WeightNorm ) ^{[ 20 ]} es una técnica inspirada en BatchNorm que normaliza las matrices de pesos en una red neuronal, en lugar de sus activaciones.

Un ejemplo es la normalización espectral , que divide las matrices de pesos por su norma espectral . La normalización espectral se utiliza en redes generativas antagónicas (GAN), como la GAN de Wasserstein . ^{[ 21 ]} El radio espectral se puede calcular de manera eficiente mediante el siguiente algoritmo:

Matriz de ENTRADA y estimación inicial${\displaystyle W}$${\displaystyle x}$

Iterar hasta la convergencia . Este es el vector propio de con valor propio . ${\displaystyle x\mapsto {\frac {1}{\|Wx\|_{2}}}Wx}$${\displaystyle x^{*}}$${\displaystyle W}$${\displaystyle \|W\|_{s}}$

DEVOLVER${\displaystyle x^{*},\|Wx^{*}\|_{2}}$

Al reasignar después de cada actualización del discriminador, podemos acotar superiormente , y por lo tanto acotar superiormente . ${\displaystyle W_{i}\leftarrow {\frac {W_{i}}{\|W_{i}\|_{s}}}}$${\displaystyle \|W_{i}\|_{s}\leq 1}$${\displaystyle \|D\|_{L}}$

El algoritmo se puede acelerar aún más mediante la memorización : en el paso , almacena . Luego, en el paso , usa como estimación inicial para el algoritmo. Dado que está muy cerca de , también lo está de , lo que permite una convergencia rápida. ${\displaystyle t}$${\displaystyle x_{i}^{*}(t)}$${\displaystyle t+1}$${\displaystyle x_{i}^{*}(t)}$${\displaystyle W_{i}(t+1)}$${\displaystyle W_{i}(t)}$${\displaystyle x_{i}^{*}(t)}$${\displaystyle x_{i}^{*}(t+1)}$

Existen algunas técnicas de normalización de activación que solo se utilizan para redes neuronales convolucionales (CNN).

La normalización de respuesta local ^{[ 22 ]} se utilizó en AlexNet . Se aplicó en una capa convolucional, justo después de una función de activación no lineal. Se definió de la siguiente manera:

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

donde se produce la activación de la neurona en la ubicación y el canal . Es decir, cada píxel en un canal es suprimido por las activaciones del mismo píxel en sus canales adyacentes. ${\displaystyle a_{x,y}^{i}}$${\displaystyle (x,y)}$${\displaystyle i}$

${\displaystyle k,n,\alpha ,\beta }$Los hiperparámetros se seleccionan utilizando un conjunto de validación.

Era una variante de la normalización de contraste local anterior . ^{[ 23 ]}

$${\displaystyle b_{x,y}^{i}={\frac {a_{x,y}^{i}}{\left(k+\alpha \sum _{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)}\left(a_{x,y}^{j}-{\bar {a}}_{x,y}^{j}\right)^{2}\right)^{\beta }}}}$$

donde es la activación promedio en una ventana pequeña centrada en la ubicación y el canal . Los hiperparámetros , y el tamaño de la ventana pequeña, se eligen utilizando un conjunto de validación. ${\displaystyle {\bar {a}}_{x,y}^{j}}$${\displaystyle (x,y)}$${\displaystyle i}$${\displaystyle k,n,\alpha ,\beta }$

Métodos similares se denominaron normalización divisiva , ya que dividen las activaciones por un número que depende de dichas activaciones. Originalmente se inspiraron en la biología, donde se utilizaron para explicar las respuestas no lineales de las neuronas corticales y el enmascaramiento no lineal en la percepción visual. ^{[ 24 ]}

Ambos tipos de normalización local fueron obviados por la normalización por lotes, que es una forma de normalización más global. ^{[ 25 ]}

La normalización de la respuesta reapareció en ConvNeXT-2 como normalización global de la respuesta . ^{[ 26 ]}

La normalización de grupo ( GroupNorm ) ^{[ 27 ]} es una técnica que también se utiliza exclusivamente para CNN. Se puede entender como la LayerNorm para CNN aplicada una vez por grupo de canales.

Supongamos que en una capa hay canales , entonces se divide en grupos . Luego, se aplica LayerNorm a cada grupo. ${\displaystyle l}$${\displaystyle 1,2,\dots ,C}$${\displaystyle g_{1},g_{2},\dots ,g_{G}}$

La normalización de instancia ( InstanceNorm ), o normalización de contraste , es una técnica desarrollada inicialmente para la transferencia de estilo neuronal y que también se utiliza exclusivamente para CNN. ^{[ 28 ]} Puede entenderse como la LayerNorm para CNN aplicada una vez por canal, o equivalentemente, como una normalización de grupo donde cada grupo consta de un solo canal:

$${\displaystyle {\begin{aligned}\mu _{c}^{(l)}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}x_{h,w,c}^{(l)}\\(\sigma _{c}^{(l)})^{2}&={\frac {1}{HW}}\sum _{h=1}^{H}\sum _{w=1}^{W}(x_{h,w,c}^{(l)}-\mu _{c}^{(l)})^{2}\\{\hat {x}}_{h,w,c}^{(l)}&={\frac {{\hat {x}}_{h,w,c}^{(l)}-\mu _{c}^{(l)}}{\sqrt {(\sigma _{c}^{(l)})^{2}+\epsilon }}}\\y_{h,w,c}^{(l)}&=\gamma _{c}^{(l)}{\hat {x}}_{h,w,c}^{(l)}+\beta _{c}^{(l)}\end{aligned}}}$$

La normalización de instancia adaptativa ( AdaIN ) es una variante de la normalización de instancia, diseñada específicamente para la transferencia de estilo neuronal con CNN, en lugar de solo CNN en general. ^{[ 29 ]}

En el método AdaIN de transferencia de estilo, tomamos una CNN y dos imágenes de entrada, una para el contenido y otra para el estilo . Cada imagen se procesa a través de la misma CNN y, en una capa determinada , se aplica AdaIN. ${\displaystyle l}$

Sea la activación en la imagen de contenido y la activación en la imagen de estilo. Entonces, AdaIn primero calcula la media y la varianza de las activaciones de la imagen de contenido , y luego las usa como para InstanceNorm en . Nótese que permanece sin cambios. Explícitamente, tenemos: ${\displaystyle x^{(l),{\text{ content}}}}$${\displaystyle x^{(l),{\text{ style}}}}$${\displaystyle x'^{(l)}}$${\displaystyle \gamma ,\beta }$${\displaystyle x^{(l),{\text{ content}}}}$${\displaystyle x^{(l),{\text{ style}}}}$

$${\displaystyle {\begin{aligned}y_{h,w,c}^{(l),{\text{ content}}}&=\sigma _{c}^{(l),{\text{ style}}}\left({\frac {x_{h,w,c}^{(l),{\text{ content}}}-\mu _{c}^{(l),{\text{ content}}}}{\sqrt {(\sigma _{c}^{(l),{\text{ content}}})^{2}+\epsilon }}}\right)+\mu _{c}^{(l),{\text{ style}}}\end{aligned}}}$$

Algunos métodos de normalización fueron diseñados para su uso en transformadores .

The original 2017 transformer used the "post-LN" configuration for its LayerNorms. It was difficult to train, and required careful hyperparameter tuning and a "warm-up" in learning rate, where it starts small and gradually increases. The pre-LN convention, proposed several times in 2018,^[30] was found to be easier to train, requiring no warm-up, leading to faster convergence.^[31]

FixNorm^[32] and ScaleNorm^[33] both normalize activation vectors in a transformer. The FixNorm method divides the output vectors from a transformer by their L2 norms, then multiplies by a learned parameter ${\displaystyle g}$. The ScaleNorm replaces all LayerNorms inside a transformer by division with L2 norm, then multiplying by a learned parameter ${\displaystyle g'}$ (shared by all ScaleNorm modules of a transformer). Query-Key normalization (QKNorm)^[34] normalizes query and key vectors to have unit L2 norm.

In nGPT, many vectors are normalized to have unit L2 norm:^[35] hidden state vectors, input and output embedding vectors, weight matrix columns, and query and key vectors.

Gradient normalization (GradNorm)^[36] normalizes gradient vectors during backpropagation.

• Data preprocessing
• Feature scaling

• "Capas de normalización" . Implementaciones de artículos sobre aprendizaje profundo de labml.ai . Consultado el 7 de agosto de 2024 .