modelo de difusión latente

Para comprimir los datos de imagen, primero se entrena un autoencoder variacional (VAE) con un conjunto de datos de imágenes. El codificador del VAE recibe una imagen como entrada y genera una representación latente de menor dimensión de la misma. Esta representación latente se utiliza como entrada para la red U-Net. Una vez entrenado el modelo, el codificador se utiliza para codificar las imágenes en representaciones latentes, y el decodificador se utiliza para decodificar dichas representaciones latentes y convertirlas de nuevo en imágenes.

Sea el codificador y el decodificador del VAE${\displaystyle E,D}$.

Para codificar una imagen RGB, sus tres canales se dividen por el valor máximo, lo que da como resultado un tensor.${\displaystyle x}$de forma${\displaystyle (3,512,512)}$con todas las entradas dentro del rango${\displaystyle [0,1]}$. El vector codificado es${\displaystyle 0.18215\times E(2x-1)}$, con forma${\displaystyle (4,64,64)}$, donde 0,18215 es un hiperparámetro que los autores originales eligieron para blanquear aproximadamente el vector codificado a una varianza aproximadamente unitaria. Por el contrario, dado un tensor latente${\displaystyle y}$, la imagen decodificada es${\displaystyle (D(y/0.18125)+1)/2}$, luego recortado al rango${\displaystyle [0,1]}$. ^{[ 19 ] [ 20 ]}

En la versión implementada, ^{[ 3 ] : ldm/models/autoencoder.py} el codificador es una red neuronal convolucional (CNN) con un único mecanismo de autoatención cerca del final. Toma un tensor de forma${\displaystyle (3,H,W)}$y genera un tensor de forma${\displaystyle (8,H/8,W/8)}$, siendo la concatenación de la media y la varianza predichas del vector latente, cada una de forma${\displaystyle (4,H/8,W/8)}$La varianza se utiliza en el entrenamiento, pero después del entrenamiento, normalmente solo se toma la media y se descarta la varianza.

El decodificador también es una CNN con un único mecanismo de autoatención cerca del final. Toma un tensor de forma${\displaystyle (4,H/8,W/8)}$y genera un tensor de forma${\displaystyle (3,H,W)}$.

La arquitectura U-Net acepta los siguientes tipos de entradas:

• Una matriz de imágenes latentes , producida por el codificador VAE. Tiene dimensiones${\displaystyle ({\text{canal}},{\text{ancho}},{\text{alto}})}$. Normalmente,${\displaystyle ({\text{canal}},{\text{ancho}},{\text{alto}})=(4,64,64)}$.
• Un vector de incrustación de paso de tiempo , que le indica a la red neuronal principal cuánto ruido hay en la imagen. Por ejemplo, una incrustación de paso de tiempo.${\displaystyle t=0}$indicaría que la imagen de entrada ya está libre de ruido, mientras que${\displaystyle t=100}$eso significaría que hay mucho ruido.
• Una secuencia de vectores de incrustación de modalidad , que indica a la red neuronal principal condiciones adicionales para la eliminación de ruido. Por ejemplo, en la generación de imágenes a partir de texto, el texto se divide en una secuencia de tokens, que luego se codifica mediante un codificador de texto, como un codificador CLIP , antes de introducirlo en la red neuronal principal. Otro ejemplo es que una imagen de entrada puede ser procesada por un Vision Transformer en una secuencia de vectores, que luego se puede usar para condicionar la red neuronal principal para tareas como generar una imagen con el mismo estilo.

Cada iteración a través de la red U-Net genera un vector de ruido predicho. Este vector se reduce y se resta de la matriz de la imagen latente, lo que da como resultado una imagen latente con un nivel de ruido ligeramente menor. El proceso de eliminación de ruido se repite según un esquema predefinido ("esquema de ruido"), y el resultado del último paso es procesado por el decodificador VAE para obtener la imagen final.

De forma similar a la U-Net estándar , la arquitectura U-Net utilizada en SD 1.5 se compone esencialmente de capas de reducción de escala seguidas de capas de aumento de escala. Sin embargo, la arquitectura U-Net cuenta con módulos adicionales que le permiten gestionar la incrustación. A modo de ejemplo, describimos una única capa de reducción de escala en la arquitectura:

• La matriz latente y la incrustación temporal son procesadas por un ResBlock:
  • La matriz latente es procesada por una capa convolucional .
  • El vector de incrustación temporal es procesado por una red neuronal de alimentación directa de una sola capa y luego se agrega a la matriz anterior (difusión a todos los píxeles).
  • Esto se procesa mediante otra capa convolucional y luego mediante otra incrustación temporal.
• La matriz latente y la secuencia del vector de incrustación son procesadas por un SpatialTransformer, que es esencialmente un decodificador Transformer pre-LN estándar sin enmascaramiento causal.
  • En los bloques de atención cruzada, la matriz latente en sí misma sirve como secuencia de consulta, un vector de consulta por píxel. Por ejemplo, si, en esta capa de la U-Net, la matriz latente tiene dimensiones${\displaystyle (128,32,32)}$, entonces la secuencia de consulta tiene${\displaystyle 1024}$vectores, cada uno de los cuales tiene${\displaystyle 128}$dimensiones. La secuencia del vector de incrustación sirve tanto como secuencia clave como secuencia de valor.
  • Cuando no se introduce ninguna secuencia de vector de incrustación, un bloque de atención cruzada pasa por defecto a la autoatención, donde la matriz latente sirve como consulta, clave y valor. ^{[ 21 ] : línea 251}

En pseudocódigo,

def ResBlock ( x , time , residual_channels ): x_in = x time_embedding = feedforward_network ( time ) x = concatenate ( x , residual_channels ) x = conv_layer_1 ( activate ( normalize_1 ( x ))) + time_embedding x = conv_layer_2 ( dropout ( activate ( normalize_2 ( x )))) return x_in + xdef SpatialTransformer ( x , cond ): x_in = x x = normalize ( x ) x = proj_in ( x ) x = cross_attention ( x , cond ) x = proj_out ( x ) return x_in + xdef unet ( x , time , cond ) : residual_channels = [ ] for resblock , spatialtransformer in downscaling_layers : x = resblock ( x , time ) residual_channels.append ( x ) x = spatialtransformer ( x , cond )x = middle_layer.resblock_1 ( x , tiempo ) x = middle_layer.spatialtransformer ( x , tiempo ) x = middle_layer.resblock_2 ( x , tiempo )​​​​​​para resblock , spatialtransformer en upscaling_layers : residual = residual_channels.pop ( ) x = resblock ( concatenate ( x , residual ) , time ) x = spatialtransformer ( x , cond )devolver x

La arquitectura detallada se puede encontrar en. ^{[ 22 ] [ 23 ]}