Red generativa antagónica

Si bien el juego GAN tiene un punto de equilibrio global único cuando tanto el generador como el discriminador tienen acceso a todos sus conjuntos de estrategias, el equilibrio ya no está garantizado cuando tienen un conjunto de estrategias restringido. ^{[ 13 ]}

En la práctica, el generador solo tiene acceso a medidas de forma${\displaystyle \mu _{Z}\circ G_{\theta }^{-1}}$, dónde${\displaystyle G_{\theta }}$es una función calculada por una red neuronal con parámetros${\displaystyle \theta }$, y${\displaystyle \mu _{Z}}$es una distribución fácilmente muestreable, como la distribución uniforme o la distribución normal. De manera similar, el discriminador solo tiene acceso a funciones de forma${\displaystyle D_{\zeta }}$, una función calculada por una red neuronal con parámetros${\displaystyle \zeta }$Estos conjuntos de estrategias restringidas ocupan una proporción ínfima de sus conjuntos de estrategias totales. ^{[ 14 ]}

Además, incluso si aún existe un equilibrio, este solo puede encontrarse mediante la búsqueda en el espacio de alta dimensión de todas las posibles funciones de la red neuronal. La estrategia estándar de usar el descenso de gradiente para encontrar el equilibrio a menudo no funciona para las GAN, y con frecuencia el juego "colapsa" en uno de varios modos de fallo. Para mejorar la estabilidad de la convergencia, algunas estrategias de entrenamiento comienzan con una tarea más sencilla, como generar imágenes de baja resolución ^{[ 15 ]} o imágenes simples (un objeto con fondo uniforme) ^{[ 16 ] , y aumentan gradualmente la dificultad de la tarea durante el entrenamiento. Esto se traduce esencialmente en la aplicación de un esquema de aprendizaje curricular [ 17 ]} .

Las GAN suelen sufrir colapso modal, donde no logran generalizar correctamente, omitiendo modos completos de los datos de entrada. Por ejemplo, una GAN entrenada con el conjunto de datos MNIST , que contiene muchas muestras de cada dígito, podría generar únicamente imágenes del dígito 0. Esto se denominó "el escenario Helvetica". ^{[ 1 ]}

Un mecanismo típico de colapso modal es que el generador solo produzca uno o pocos de los valores probables, o una imagen muy incompleta de la distribución objetivo. Dado que el discriminador solo está entrenado para distinguir muestras reales de falsas, identificará correctamente las muestras generadas como reales, pero no se impone ninguna penalización a la capacidad de la GAN para generar datos que representen el rango completo de la distribución objetivo.

Los discriminadores débiles, por ejemplo, los que están insuficientemente parametrizados o los que se entrenan demasiado lento en comparación con el generador, pueden ser incapaces de discriminar completamente en todo el rango de la distribución y solo ser capaces de discriminar correctamente una parte muy incompleta de la distribución objetivo.

Algunos investigadores consideran que el problema fundamental reside en una red discriminativa débil que no logra detectar el patrón de omisión, mientras que otros atribuyen la culpa a una mala elección de la función objetivo . Se han propuesto numerosas soluciones, pero sigue siendo un problema abierto. ^{[ 18 ] [ 19 ]}

Incluso la arquitectura de vanguardia, BigGAN (2019), no pudo evitar el colapso modal. Los autores recurrieron a "permitir que el colapso ocurriera en las etapas posteriores del entrenamiento, momento en el que un modelo está suficientemente entrenado para lograr buenos resultados". ^{[ 20 ]}

La regla de actualización de dos escalas de tiempo (TTUR) se propone para lograr una convergencia más estable de las GAN al reducir la tasa de aprendizaje del generador con respecto a la del discriminador. Demuestran que, al entrenarse de esta manera, las GAN "convergen, bajo supuestos leves, a un equilibrio de Nash local estacionario". ^{[ 21 ]} Además, muestran que esta propiedad se extiende al uso del optimizador Adam, comúnmente utilizado en el descenso de gradiente estocástico.

Un equilibrio de Nash local no significa en absoluto la ausencia de colapso modal; por ejemplo, una GAN entrenada en MNIST que colapsa para generar un solo dígito puede satisfacer las hipótesis del artículo, al tiempo que presenta colapso modal.

Por el contrario, si el discriminador aprende demasiado rápido en comparación con el generador, entonces el discriminador podría distinguir casi perfectamente${\displaystyle \mu _{G_{\theta }},\mu _{\text{ref}}}$En tal caso, el generador${\displaystyle G_{\theta }}$podría quedar atrapado con una pérdida muy alta sin importar en qué dirección cambie su${\displaystyle \theta }$, lo que significa que el gradiente${\displaystyle \nabla _{\theta }L(G_{\theta },D_{\zeta })}$sería cercano a cero. En tal caso, el generador no puede aprender, un caso del problema del gradiente evanescente . ^{[ 14 ]}

Intuitivamente hablando, el discriminador es demasiado bueno, y como el generador no puede dar ningún pequeño paso (solo se consideran pasos pequeños en el descenso de gradiente) para mejorar su resultado, ni siquiera lo intenta.

Un método importante para resolver este problema es la GAN de Wasserstein .

Un autoencoder adversarial (AAE) ^{[ 37 ]} es más un autoencoder que una GAN. La idea es comenzar con un autoencoder simple , pero entrenar un discriminador para distinguir los vectores latentes de una distribución de referencia (a menudo la distribución normal).

En GAN condicional, el generador recibe un vector de ruido.${\displaystyle z}$y una etiqueta${\displaystyle c}$y produce una imagen${\displaystyle G(z,c)}$El discriminador recibe pares de imagen-etiqueta.${\displaystyle (x,c)}$y calcula${\displaystyle D(x,c)}$.

Cuando el conjunto de datos de entrenamiento no está etiquetado, la GAN condicional no funciona directamente.

La idea de InfoGAN es decretar que cada vector latente en el espacio latente puede descomponerse como${\displaystyle (z,c)}$: una parte de ruido incompresible${\displaystyle z}$y una parte de etiqueta informativa${\displaystyle c}$y alentar al generador a cumplir con el decreto, animándolo a maximizar${\displaystyle I(c,G(z,c))}$, la información mutua entre${\displaystyle c}$y${\displaystyle G(z,c)}$, sin exigir nada a cambio de información mutua${\displaystyle z}$entre${\displaystyle G(z,c)}$.

Desafortunadamente,${\displaystyle I(c,G(z,c))}$es intratable en general. La idea clave de InfoGAN es la maximización de la información mutua variacional: ^{[ 38 ]} la maximiza indirectamente maximizando un límite inferior.$${\displaystyle {\hat {I}}(G,Q)=\mathbb {E} _{z\sim \mu _{Z},c\sim \mu _{C}}[\ln Q(c\mid G(z,c))];\quad I(c,G(z,c))\geq \sup _{Q}{\hat {I}}(G,Q)}$$dónde${\displaystyle Q}$abarca todos los núcleos de Markov de tipo${\displaystyle Q:\Omega _{Y}\to {\mathcal {P}}(\Omega _{C})}$.

El juego InfoGAN se define de la siguiente manera: ^{[ 39 ]}

Un juego InfoGAN se define mediante tres espacios de probabilidad:

• ${\displaystyle (\Omega _{X},\mu _{\text{ref}})}$, el espacio de imágenes de referencia.
• ${\displaystyle (\Omega _{Z},\mu _{Z})}$, el generador de ruido aleatorio fijo.
• ${\displaystyle (\Omega _{C},\mu _{C})}$, el generador de información aleatoria fijo.

Hay 3 jugadores en 2 equipos: generador, Q y discriminador. El generador y Q están en un equipo, y el discriminador en el otro.

La función objetivo es$${\displaystyle L(G,Q,D)=L_{GAN}(G,D)-\lambda {\hat {I}}(G,Q)}$$dónde${\displaystyle L_{GAN}(G,D)=\operatorname {E} _{x\sim \mu _{\text{ref}},}[\ln D(x)]+\operatorname {E} _{z\sim \mu _{Z}}[\ln(1-D(G(z,c)))]}$es el objetivo del juego GAN original, y${\displaystyle {\hat {I}}(G,Q)=\mathbb {E} _{z\sim \mu _{Z},c\sim \mu _{C}}[\ln Q(c\mid G(z,c))]}$

El equipo Generator-Q tiene como objetivo minimizar el objetivo, y el discriminador tiene como objetivo maximizarlo:$${\displaystyle \min _{G,Q}\max _{D}L(G,Q,D)}$$

El generador GAN estándar es una función de tipo${\displaystyle G:\Omega _{Z}\to \Omega _{X}}$, es decir, es un mapeo desde un espacio latente${\displaystyle \Omega _{Z}}$al espacio de la imagen${\displaystyle \Omega _{X}}$Esto puede entenderse como un proceso de "decodificación", mediante el cual cada vector latente${\displaystyle z\in \Omega _{Z}}$es un código para una imagen${\displaystyle x\in \Omega _{X}}$y el generador realiza la decodificación. Esto lleva naturalmente a la idea de entrenar otra red que realice la "codificación", creando un autoencoder a partir del par codificador-generador.

Ya en el artículo original, ^{[ 1 ]} los autores señalaron que "La inferencia aproximada aprendida se puede realizar entrenando una red auxiliar para predecir${\displaystyle z}$dado${\displaystyle x}$"La arquitectura GAN bidireccional realiza precisamente esto. ^{[ 40 ]}

La BiGAN se define de la siguiente manera:

Un juego BiGAN se define mediante dos espacios de probabilidad:

• ${\displaystyle (\Omega _{X},\mu _{X})}$, el espacio de imágenes de referencia.
• ${\displaystyle (\Omega _{Z},\mu _{Z})}$, el espacio latente.

Hay 3 jugadores divididos en 2 equipos: generador, codificador y discriminador. El generador y el codificador están en un equipo, y el discriminador en el otro.

Las estrategias del generador son funciones${\displaystyle G:\Omega _{Z}\to \Omega _{X}}$y las estrategias del codificador son funciones${\displaystyle E:\Omega _{X}\to \Omega _{Z}}$Las estrategias del discriminador son funciones${\displaystyle D:\Omega _{X}\to [0,1]}$.

La función objetivo es$${\displaystyle L(G,E,D)=\mathbb {E} _{x\sim \mu _{X}}[\ln D(x,E(x))]+\mathbb {E} _{z\sim \mu _{Z}}[\ln(1-D(G(z),z))]}$$

El equipo generador-codificador tiene como objetivo minimizar la función objetivo, y el discriminador tiene como objetivo maximizarla:$${\displaystyle \min _{G,E}\max _{D}L(G,E,D)}$$

En el artículo, dieron una definición más abstracta del objetivo como:$${\displaystyle L(G,E,D)=\mathbb {E} _{(x,z)\sim \mu _{E,X}}[\ln D(x,z)]+\mathbb {E} _{(x,z)\sim \mu _{G,Z}}[\ln(1-D(x,z))]}$$dónde${\displaystyle \mu _{E,X}(dx,dz)=\mu _{X}(dx)\cdot \delta _{E(x)}(dz)}$es la distribución de probabilidad en${\displaystyle \Omega _{X}\times \Omega _{Z}}$obtenido al empujar${\displaystyle \mu _{X}}$avanzar por${\displaystyle x\mapsto (x,E(x))}$, y${\displaystyle \mu _{G,Z}(dx,dz)=\delta _{G(z)}(dx)\cdot \mu _{Z}(dz)}$es la distribución de probabilidad en${\displaystyle \Omega _{X}\times \Omega _{Z}}$obtenido al empujar${\displaystyle \mu _{Z}}$avanzar por${\displaystyle z\mapsto (G(x),z)}$.

Las aplicaciones de los modelos bidireccionales incluyen el aprendizaje semisupervisado , ^{[ 41 ]} el aprendizaje automático interpretable , ^{[ 42 ]} y la traducción automática neuronal . ^{[ 43 ]}

CycleGAN es una arquitectura para realizar traducciones entre dos dominios, como por ejemplo entre fotos de caballos y fotos de cebras, o fotos de ciudades nocturnas y fotos de ciudades diurnas.

El juego CycleGAN se define de la siguiente manera: ^{[ 44 ]}

Hay dos espacios de probabilidad${\displaystyle (\Omega _{X},\mu _{X}),(\Omega _{Y},\mu _{Y})}$, correspondientes a los dos dominios necesarios para las traducciones de ida y vuelta.

Hay 4 jugadores en 2 equipos: generadores${\displaystyle G_{X}:\Omega _{X}\to \Omega _{Y},G_{Y}:\Omega _{Y}\to \Omega _{X}}$y discriminadores${\displaystyle D_{X}:\Omega _{X}\to [0,1],D_{Y}:\Omega _{Y}\to [0,1]}$.

La función objetivo es$${\displaystyle L(G_{X},G_{Y},D_{X},D_{Y})=L_{GAN}(G_{X},D_{X})+L_{GAN}(G_{Y},D_{Y})+\lambda L_{cycle}(G_{X},G_{Y})}$$

dónde${\displaystyle \lambda }$es un parámetro ajustable positivo,${\displaystyle L_{GAN}}$es el objetivo del juego GAN, y${\displaystyle L_{cycle}}$es la pérdida de consistencia del ciclo :$${\displaystyle L_{cycle}(G_{X},G_{Y})=E_{x\sim \mu _{X}}\|G_{X}(G_{Y}(x))-x\|+E_{y\sim \mu _{Y}}\|G_{Y}(G_{X}(y))-y\|}$$Los generadores buscan minimizar la función objetivo, y los discriminadores buscan maximizarla:$${\displaystyle \min _{G_{X},G_{Y}}\max _{D_{X},D_{Y}}L(G_{X},G_{Y},D_{X},D_{Y})}$$

A diferencia de trabajos anteriores como pix2pix, ^{[ 45 ]} que requieren datos de entrenamiento emparejados, cycleGAN no requiere datos emparejados. Por ejemplo, para entrenar un modelo pix2pix para convertir una foto de un paisaje veraniego en una foto de un paisaje invernal y viceversa, el conjunto de datos debe contener pares del mismo lugar en verano e invierno, tomadas desde el mismo ángulo; cycleGAN solo necesitaría un conjunto de fotos de paisajes veraniegos y un conjunto de fotos de paisajes invernales no relacionadas.

BigGAN es esencialmente una GAN de autoatención entrenada a gran escala (hasta 80 millones de parámetros) para generar imágenes grandes de ImageNet (hasta una resolución de 512 x 512), con numerosos trucos de ingeniería para lograr su convergencia. ^{[ 20 ] [ 46 ]}

Cuando no hay suficientes datos de entrenamiento, la distribución de referencia${\displaystyle \mu _{\text{ref}}}$La distribución empírica proporcionada por el conjunto de datos de entrenamiento no puede aproximarse adecuadamente . En estos casos, se puede aplicar el aumento de datos para entrenar la GAN con conjuntos de datos más pequeños. Sin embargo, el aumento de datos ingenuo presenta sus propios problemas.

Consideremos el juego GAN original, ligeramente reformulado de la siguiente manera:$${\displaystyle {\begin{cases}\min _{D}L_{D}(D,\mu _{G})=-\operatorname {E} _{x\sim \mu _{\text{ref}}}[\ln D(x)]-\operatorname {E} _{x\sim \mu _{G}}[\ln(1-D(x))]\\\min _{G}L_{G}(D,\mu _{G})=-\operatorname {E} _{x\sim \mu _{G}}[\ln(1-D(x))]\end{cases}}}$$Ahora utilizamos el aumento de datos mediante el muestreo aleatorio de transformaciones que preservan la semántica.${\displaystyle T:\Omega \to \Omega }$y aplicándolas al conjunto de datos, para obtener el juego GAN reformulado:$${\displaystyle {\begin{cases}\min _{D}L_{D}(D,\mu _{G})=-\operatorname {E} _{x\sim \mu _{\text{ref}},T\sim \mu _{\text{trans}}}[\ln D(T(x))]-\operatorname {E} _{x\sim \mu _{G}}[\ln(1-D(x))]\\\min _{G}L_{G}(D,\mu _{G})=-\operatorname {E} _{x\sim \mu _{G}}[\ln(1-D(x))]\end{cases}}}$$Esto es equivalente a un juego GAN con una distribución diferente.${\displaystyle \mu _{\text{ref}}'}$, muestreado por${\displaystyle T(x)}$, con${\displaystyle x\sim \mu _{\text{ref}},T\sim \mu _{\text{trans}}}$. Por ejemplo, si${\displaystyle \mu _{\text{ref}}}$es la distribución de imágenes en ImageNet, y${\displaystyle \mu _{\text{trans}}}$Las muestras se transforman mediante la transformación identidad con una probabilidad de 0,5 y mediante la reflexión horizontal con una probabilidad de 0,5, luego${\displaystyle \mu _{\text{ref}}'}$es la distribución de imágenes en ImageNet y ImageNet reflejada horizontalmente, combinadas.

El resultado de dicho entrenamiento sería un generador que imita${\displaystyle \mu _{\text{ref}}'}$Por ejemplo, generaría imágenes que parecen recortadas aleatoriamente, si el aumento de datos utiliza recorte aleatorio.

La solución consiste en aplicar técnicas de aumento de datos tanto a las imágenes generadas como a las reales:$${\displaystyle {\begin{cases}\min _{D}L_{D}(D,\mu _{G})=-\operatorname {E} _{x\sim \mu _{\text{ref}},T\sim \mu _{\text{trans}}}[\ln D(T(x))]-\operatorname {E} _{x\sim \mu _{G},T\sim \mu _{\text{trans}}}[\ln(1-D(T(x)))]\\\min _{G}L_{G}(D,\mu _{G})=-\operatorname {E} _{x\sim \mu _{G},T\sim \mu _{\text{trans}}}[\ln(1-D(T(x)))]\end{cases}}}$$Los autores demostraron una generación de alta calidad utilizando conjuntos de datos de tan solo 100 imágenes. ^{[ 47 ]}

El artículo StyleGAN-2-ADA señala otro punto sobre el aumento de datos: debe ser invertible . ^{[ 48 ]} Continuemos con el ejemplo de generar imágenes de ImageNet. Si el aumento de datos es "rotar aleatoriamente la imagen 0, 90, 180, 270 grados con igual probabilidad", entonces no hay forma de que el generador sepa cuál es la orientación verdadera: Consideremos dos generadores${\displaystyle G,G'}$, de tal manera que para cualquier latente${\displaystyle z}$, la imagen generada${\displaystyle G(z)}$es una rotación de 90 grados de${\displaystyle G'(z)}$Ambas tendrían exactamente la misma pérdida esperada, por lo que ninguna es preferible a la otra.

La solución consiste en utilizar únicamente el aumento de datos invertible: en lugar de "rotar la imagen aleatoriamente 0, 90, 180 y 270 grados con igual probabilidad", utilice "rotar la imagen aleatoriamente 90, 180 y 270 grados con una probabilidad de 0,1 y mantener la imagen sin cambios con una probabilidad de 0,7". De esta forma, el generador sigue siendo recompensado por mantener las imágenes orientadas de la misma manera que las imágenes de ImageNet sin aumentar.

En abstracto, el efecto de las transformaciones de muestreo aleatorio${\displaystyle T:\Omega \to \Omega }$de la distribución${\displaystyle \mu _{\text{trans}}}$Se trata de definir un núcleo de Markov.${\displaystyle K_{\text{trans}}:\Omega \to {\mathcal {P}}(\Omega )}$Luego, el juego GAN con datos aumentados empuja al generador para encontrar algunos${\displaystyle {\hat {\mu }}_{G}\in {\mathcal {P}}(\Omega )}$, de tal manera que$${\displaystyle K_{\text{trans}}*\mu _{\text{ref}}=K_{\text{trans}}*{\hat {\mu }}_{G}}$$dónde${\displaystyle *}$es la convolución del núcleo de Markov . Un método de aumento de datos se define como invertible si su núcleo de Markov${\displaystyle K_{\text{trans}}}$Satisface$${\displaystyle K_{\text{trans}}*\mu =K_{\text{trans}}*\mu '\implies \mu =\mu '\quad \forall \mu ,\mu '\in {\mathcal {P}}(\Omega )}$$Inmediatamente, por definición, vemos que la composición de múltiples métodos de aumento de datos invertibles da como resultado otro método invertible. También por definición, si el método de aumento de datos es invertible, entonces usarlo en un juego GAN no cambia la estrategia óptima.${\displaystyle {\hat {\mu }}_{G}}$para el generador, que todavía está${\displaystyle \mu _{\text{ref}}}$.

Existen dos ejemplos prototípicos de núcleos de Markov invertibles:

Caso discreto : Matrices estocásticas invertibles , cuando${\displaystyle \Omega }$es finito.

Por ejemplo, si${\displaystyle \Omega =\{\uparrow ,\downarrow ,\leftarrow ,\rightarrow \}}$es el conjunto de cuatro imágenes de una flecha, apuntando en 4 direcciones, y el aumento de datos es "rotar aleatoriamente la imagen 90, 180, 270 grados con probabilidad${\displaystyle p}$y mantener la imagen tal como está con probabilidad${\displaystyle (1-3p)}$", entonces el núcleo de Markov${\displaystyle K_{\text{trans}}}$puede representarse como una matriz estocástica:$${\displaystyle [K_{\text{trans}}]={\begin{bmatrix}(1-3p)&p&p&p\\p&(1-3p)&p&p\\p&p&(1-3p)&p\\p&p&p&(1-3p)\end{bmatrix}}}$$y${\displaystyle K_{\text{trans}}}$es un núcleo invertible si y solo si${\displaystyle [K_{\text{trans}}]}$es una matriz invertible, es decir,${\displaystyle p\neq 1/4}$.

Caso continuo : El núcleo gaussiano, cuando${\displaystyle \Omega =\mathbb {R} ^{n}}$para algunos${\displaystyle n\geq 1}$.

Por ejemplo, si${\displaystyle \Omega =\mathbb {R} ^{256^{2}}}$es el espacio de imágenes de 256x256, y el método de aumento de datos es "generar un ruido gaussiano".${\displaystyle z\sim {\mathcal {N}}(0,I_{256^{2}})}$, luego añade${\displaystyle \epsilon z}$a la imagen", entonces${\displaystyle K_{\text{trans}}}$es simplemente una convolución por la función de densidad de${\displaystyle {\mathcal {N}}(0,\epsilon ^{2}I_{256^{2}})}$. Esto es invertible, porque la convolución por una gaussiana es simplemente la convolución por el núcleo de calor , por lo que dado cualquier${\displaystyle \mu \in {\mathcal {P}}(\mathbb {R} ^{n})}$, la distribución convolucionada${\displaystyle K_{\text{trans}}*\mu }$se puede obtener calentando${\displaystyle \mathbb {R} ^{n}}$precisamente según${\displaystyle \mu }$, luego espera el tiempo${\displaystyle \epsilon ^{2}/4}$Con eso, podemos recuperarnos${\displaystyle \mu }$al ejecutar la ecuación del calor hacia atrás en el tiempo para${\displaystyle \epsilon ^{2}/4}$.

En el artículo se encuentran más ejemplos de aumentos de datos invertibles. ^{[ 48 ]}

SinGAN lleva el aumento de datos al límite, utilizando una sola imagen como datos de entrenamiento y aplicando el aumento de datos sobre ella. La arquitectura GAN se adapta a este método de entrenamiento mediante una canalización multiescala.

El generador${\displaystyle G}$se descompone en una pirámide de generadores${\displaystyle G=G_{1}\circ G_{2}\circ \cdots \circ G_{N}}$, siendo el más bajo el que genera la imagen${\displaystyle G_{N}(z_{N})}$a la resolución más baja, luego la imagen generada se amplía a${\displaystyle r(G_{N}(z_{N}))}$y se pasa al siguiente nivel para generar una imagen.${\displaystyle G_{N-1}(z_{N-1}+r(G_{N}(z_{N})))}$a mayor resolución, y así sucesivamente. El discriminador también se descompone en una pirámide. ^{[ 49 ]}

GAN progresiva ^{[ 15 ]} es un método para entrenar GAN para la generación de imágenes a gran escala de forma estable, haciendo crecer un generador GAN de pequeña a gran escala de forma piramidal. Al igual que SinGAN, descompone el generador como${\displaystyle G=G_{1}\circ G_{2}\circ \cdots \circ G_{N}}$y el discriminador como${\displaystyle D=D_{1}\circ D_{2}\circ \cdots \circ D_{N}}$.

Durante el entrenamiento, al principio solo${\displaystyle G_{N},D_{N}}$se utilizan en un juego GAN para generar imágenes de 4x4.${\displaystyle G_{N-1},D_{N-1}}$se añaden para llegar a la segunda etapa del juego GAN, para generar imágenes de 8x8, y así sucesivamente, hasta que llegamos a un juego GAN para generar imágenes de 1024x1024.

Para evitar choques entre las etapas del juego GAN, cada nueva capa se "integra" (Figura 2 del artículo ^{[ 15 ]} ). Por ejemplo, así es como comienza la segunda etapa del juego GAN:

• Justo antes, el juego GAN consta del par${\displaystyle G_{N},D_{N}}$Generación y discriminación de imágenes de 4x4.
• Justo después, el juego GAN consta del par${\displaystyle ((1-\alpha )+\alpha \cdot G_{N-1})\circ u\circ G_{N},D_{N}\circ d\circ ((1-\alpha )+\alpha \cdot D_{N-1})}$Generación y discriminación de imágenes de 8x8. Aquí, las funciones${\displaystyle u,d}$son funciones de sobremuestreo y submuestreo de imágenes, y${\displaystyle \alpha }$es un factor de fusión (muy parecido a un alfa en la composición de imágenes) que se desliza suavemente de 0 a 1.

StyleGAN-1 está diseñado como una combinación de GAN progresiva con transferencia de estilo neuronal . ^{[ 50 ]}

La elección arquitectónica clave de StyleGAN-1 es un mecanismo de crecimiento progresivo, similar a Progressive GAN. Cada imagen generada comienza como una constante${\displaystyle 4\times 4\times 512}$El array se pasa repetidamente a través de bloques de estilo. Cada bloque de estilo aplica un "vector latente de estilo" mediante una transformación afín ("normalización de instancia adaptativa"), de forma similar a como la transferencia de estilo neuronal utiliza la matriz de Gram . A continuación, se añade ruido y se normaliza (se resta la media y se divide por la varianza).

Durante el entrenamiento, normalmente solo se utiliza un vector latente de estilo por imagen generada, pero a veces dos ("regularización mixta") para animar a cada bloque de estilo a realizar su estilización de forma independiente sin esperar ayuda de otros bloques de estilo (ya que podrían recibir un vector latente de estilo completamente diferente).

Tras el entrenamiento, se pueden introducir múltiples vectores latentes de estilo en cada bloque de estilo. Los que se introducen en las capas inferiores controlan los estilos a gran escala, y los que se introducen en las capas superiores controlan los estilos de detalle fino.

Mezcla de estilos entre dos imágenes${\displaystyle x,x'}$También se puede realizar. Primero, ejecute un descenso de gradiente para encontrar${\displaystyle z,z'}$de tal manera que${\displaystyle G(z)\approx x,G(z')\approx x'}$Esto se llama "proyectar una imagen de vuelta al espacio latente de estilo". Luego,${\displaystyle z}$se pueden alimentar a los bloques de estilo inferior, y${\displaystyle z'}$a los bloques de estilo superior, para generar una imagen compuesta que tenga el estilo a gran escala de${\displaystyle x}$y el estilo de detalles finos de${\displaystyle x'}$También se pueden componer varias imágenes de esta manera.

StyleGAN-2 mejora StyleGAN-1, al usar el vector latente de estilo para transformar los pesos de la capa de convolución, resolviendo así el problema del "blob". ^{[ 51 ]}

Esto fue actualizado por StyleGAN-2-ADA ("ADA" significa "adaptativo"), ^{[ 48 ]} que utiliza aumento de datos invertible como se describió anteriormente. También ajusta la cantidad de aumento de datos aplicada comenzando en cero y aumentándola gradualmente hasta que una "heurística de sobreajuste" alcanza un nivel objetivo, de ahí el nombre "adaptativo".

StyleGAN-3 ^{[ 52 ]} mejora StyleGAN-2 al resolver el problema de "adherencia de textura", que se puede ver en los videos oficiales. ^{[ 53 ]} Analizaron el problema mediante el teorema de muestreo de Nyquist-Shannon y argumentaron que las capas en el generador aprendieron a explotar la señal de alta frecuencia en los píxeles sobre los que operan.

Para solucionar esto, propusieron imponer filtros de paso bajo estrictos entre las capas de cada generador, de modo que este se vea obligado a operar sobre los píxeles de forma fiel a las señales continuas que representan, en lugar de tratarlos como señales discretas. Además, impusieron invariancia rotacional y traslacional mediante el uso de más filtros de señal . El StyleGAN-3 resultante es capaz de resolver el problema de la adherencia de texturas, así como de generar imágenes que rotan y se trasladan suavemente.