StyleGAN

En diciembre de 2019, Facebook eliminó una red de cuentas con identidades falsas y mencionó que algunas de ellas habían utilizado fotos de perfil creadas con técnicas de aprendizaje automático. ^{[ 17 ]}

GAN progresiva ^{[ 9 ]} es un método para entrenar GAN para la generación de imágenes a gran escala de forma estable, haciendo crecer un generador GAN de pequeña a gran escala de forma piramidal. Al igual que SinGAN, descompone el generador como${\displaystyle G=G_{1}\circ G_{2}\circ \cdots \circ G_{N}}$y el discriminador como${\displaystyle D=D_{N}\circ D_{N-1}\circ \cdots \circ D_{1}}$.

Durante el entrenamiento, al principio solo${\displaystyle G_{N},D_{N}}$se utilizan en un juego GAN para generar imágenes de 4x4.${\displaystyle G_{N-1},D_{N-1}}$se añaden para llegar a la segunda etapa del juego GAN, para generar imágenes de 8x8, y así sucesivamente, hasta que llegamos a un juego GAN para generar imágenes de 1024x1024.

Para evitar la discontinuidad entre las etapas del juego GAN, cada nueva capa se "integra" (Figura 2 del artículo ^{[ 9 ]} ). Por ejemplo, así es como comienza la segunda etapa del juego GAN:

• Justo antes, el juego GAN consta del par${\displaystyle G_{N},D_{N}}$Generación y discriminación de imágenes de 4x4.
• Justo después, el juego GAN consta del par${\displaystyle ((1-\alpha )+\alpha \cdot G_{N-1})\circ u\circ G_{N},D_{N}\circ d\circ ((1-\alpha )+\alpha \cdot D_{N-1})}$Generación y discriminación de imágenes de 8x8. Aquí, las funciones${\displaystyle u,d}$son funciones de sobremuestreo y submuestreo de imágenes, y${\displaystyle \alpha }$es un factor de fusión (muy parecido a un alfa en la composición de imágenes) que se desliza suavemente de 0 a 1.

StyleGAN está diseñado como una combinación de GAN progresiva con transferencia de estilo neuronal . ^{[ 18 ]}

La elección arquitectónica clave de StyleGAN-1 es un mecanismo de crecimiento progresivo, similar a Progressive GAN. Cada imagen generada comienza como una constante ^{[ nota 1 ].}${\displaystyle 4\times 4\times 512}$El array se pasa repetidamente a través de bloques de estilo. Cada bloque de estilo aplica un "vector latente de estilo" mediante una transformación afín ("normalización de instancia adaptativa"), de forma similar a como la transferencia de estilo neuronal utiliza la matriz de Gram . A continuación, se añade ruido y se normaliza (se resta la media y se divide por la varianza).

Durante el entrenamiento, normalmente solo se utiliza un vector latente de estilo por imagen generada, pero a veces dos ("regularización mixta") para animar a cada bloque de estilo a realizar su estilización de forma independiente sin esperar ayuda de otros bloques de estilo (ya que podrían recibir un vector latente de estilo completamente diferente).

Tras el entrenamiento, se pueden introducir múltiples vectores latentes de estilo en cada bloque de estilo. Los que se introducen en las capas inferiores controlan los estilos a gran escala, y los que se introducen en las capas superiores controlan los estilos de detalle fino.

Mezcla de estilos entre dos imágenes${\displaystyle x,x'}$También se puede realizar. Primero, ejecute un descenso de gradiente para encontrar${\displaystyle z,z'}$de tal manera que${\displaystyle G(z)\approx x,G(z')\approx x'}$Esto se llama "proyectar una imagen de vuelta al espacio latente de estilo ". Luego,${\displaystyle z}$se pueden alimentar a los bloques de estilo inferior, y${\displaystyle z'}$a los bloques de estilo superior, para generar una imagen compuesta que tenga el estilo a gran escala de${\displaystyle x}$y el estilo de detalles finos de${\displaystyle x'}$También se pueden componer varias imágenes de esta manera.

StyleGAN2 mejora a StyleGAN de dos maneras.

Primero, aplica el vector latente de estilo para transformar los pesos de la capa de convolución, resolviendo así el problema del "blob". ^{[ 19 ]} El problema del "blob" se debe, en términos generales, a que usar el vector latente de estilo para normalizar la imagen generada destruye información útil. En consecuencia, el generador aprendió a crear una "distracción" mediante un gran blob, que absorbe la mayor parte del efecto de la normalización (algo similar a usar bengalas para distraer un misil teledirigido ).

En segundo lugar, utiliza conexiones residuales, lo que ayuda a evitar el fenómeno en el que ciertas características se quedan atascadas en intervalos de píxeles. Por ejemplo, la unión entre dos dientes puede quedarse atascada en píxeles divisibles por 32, porque el generador aprendió a generar dientes durante la etapa N-5 y, en consecuencia, solo pudo generar dientes primitivos en esa etapa, antes de escalar 5 veces (es decir, intervalos de 32).

Esto fue actualizado por StyleGAN2-ADA ("ADA" significa "adaptativo"), ^{[ 20 ]} que utiliza aumento de datos invertible . También ajusta la cantidad de aumento de datos aplicada comenzando en cero y aumentándola gradualmente hasta que una " heurística de sobreajuste " alcanza un nivel objetivo, de ahí el nombre "adaptativo".

StyleGAN3 ^{[ 21 ]} mejora StyleGAN2 al resolver el problema de "adherencia de textura", que se puede ver en los videos oficiales. ^{[ 22 ]} Analizaron el problema mediante el teorema de muestreo de Nyquist-Shannon y argumentaron que las capas en el generador aprendieron a explotar la señal de alta frecuencia en los píxeles sobre los que operan.

Para solucionar esto, propusieron imponer filtros de paso bajo estrictos entre las capas de cada generador, de modo que este se vea obligado a operar sobre los píxeles de forma fiel a las señales continuas que representan, en lugar de tratarlos como señales discretas. Además, impusieron invariancia rotacional y traslacional mediante el uso de más filtros de señal . El StyleGAN-3 resultante es capaz de generar imágenes que rotan y se trasladan suavemente, sin problemas de textura.