Transferencia de estilo neuronal

La idea de la transferencia de estilo neuronal (NST) es tomar dos imágenes: una imagen de contenido${\displaystyle {\vec {p}}}$y una imagen de estilo${\displaystyle {\vec {a}}}$—y generar una tercera imagen${\displaystyle {\vec {x}}}$que minimiza una combinación ponderada de dos funciones de pérdida: una pérdida de contenido${\displaystyle {\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}})}$y una pérdida de estilo${\displaystyle {\mathcal {L}}_{\text{estilo }}({\vec {a}},{\vec {x}})}$.

La pérdida total es una suma lineal de las dos:$${\displaystyle {\mathcal {L}}_{\text{NST}}({\vec {p}},{\vec {a}},{\vec {x}})=\alpha {\mathcal {L}}_{\text{content}}({\vec {p}},{\vec {x}})+\beta {\mathcal {L}}_{\text{style}}({\vec {a}},{\vec {x}})}$$Al minimizar conjuntamente las pérdidas de contenido y estilo, NST genera una imagen que combina el contenido de la imagen de contenido con el estilo de la imagen de estilo.

Tanto la pérdida de contenido como la pérdida de estilo miden la similitud entre dos imágenes. La similitud de contenido es la suma ponderada de las diferencias al cuadrado entre las activaciones neuronales de una única red neuronal convolucional (CNN) en dos imágenes. La similitud de estilo es la suma ponderada de las matrices de Gram dentro de cada capa (véase más abajo para más detalles).

El artículo original utilizaba una red neuronal convolucional VGG-19 , pero el método funciona con cualquier red neuronal convolucional.

Dejar${\textstyle {\vec {x}}}$ser una imagen de entrada para una CNN.

Dejar${\textstyle F^{l}\in \mathbb {R} ^{N_{l}\times M_{l}}}$sea ​​la matriz de respuestas de filtro en la capa${\textstyle l}$a la imagen${\textstyle {\vec {x}}}$, dónde:

• ${\textstyle N_{l}}$es el número de filtros en la capa${\textstyle l}$ ;
• ${\textstyle M_{l}}$es la altura multiplicada por el ancho (es decir, el número de píxeles) de cada filtro en la capa.${\textstyle l}$ ;
• ${\textstyle F_{ij}^{l}({\vec {x}})}$es la activación de la${\textstyle i^{\text{th}}}$filtro en la posición${\textstyle j}$en capa${\textstyle l}$.

Una imagen de entrada dada${\textstyle {\vec {x}}}$Cada capa de la CNN está codificada por las respuestas del filtro a esa imagen, y las capas superiores codifican características más globales, pero pierden detalles sobre las características locales.

Dejar${\textstyle {\vec {p}}}$ser una imagen original.${\textstyle {\vec {x}}}$ser una imagen que se genera para coincidir con el contenido de${\textstyle {\vec {p}}}$. Dejar${\textstyle P^{l}}$sea ​​la matriz de respuestas de filtro en la capa${\textstyle l}$a la imagen${\textstyle {\vec {p}}}$.

La pérdida de contenido se define como la pérdida de error cuadrático entre las representaciones de características de la imagen generada y la imagen de contenido en una capa elegida.${\displaystyle l}$de una CNN: $${\displaystyle {\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}},l)={\frac {1}{2}}\sum _{i,j}\left(A_{ij}^{l}({\vec {x}})-A_{ij}^{l}({\vec {p}})\right)^{2}}$$ dónde${\displaystyle A_{ij}^{l}({\vec {x}})}$y${\displaystyle A_{ij}^{l}({\vec {p}})}$son las activaciones de la${\displaystyle i^{\text{th}}}$filtro en la posición${\displaystyle j}$en capa${\displaystyle l}$para las imágenes generadas y de contenido, respectivamente. Minimizar esta pérdida fomenta que la imagen generada tenga un contenido similar al de la imagen de contenido, tal como lo capturan las activaciones de características en la capa elegida.

La pérdida total de contenido es una suma lineal de las pérdidas de contenido de cada capa:${\displaystyle {\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}})=\sum _{l}v_{l}{\mathcal {L}}_{\text{content }}({\vec {p}},{\vec {x}},l)}$, donde el${\displaystyle v_{l}}$son números reales positivos elegidos como hiperparámetros.

La pérdida de estilo se basa en las matrices de Gram de las imágenes generadas y de estilo, que capturan las correlaciones entre las diferentes respuestas de los filtros en las diferentes capas de la CNN: $${\displaystyle {\mathcal {L}}_{\text{estilo }}({\vec {a}},{\vec {x}})=\sum _ {l=0}^{L}w_{l}E_{l},}$$ dónde $${\displaystyle E_{l}={\frac {1}{4N_{l}^{2}M_{l}^{2}}}\sum _{i,j}\left(G_{ij}^{l}({\vec {x}})-G_{ij}^{l}({\vec {a}})\right)^{2}.}$$Aquí,${\displaystyle G_{ij}^{l}({\vec {x}})}$y${\displaystyle G_{ij}^{l}({\vec {a}})}$son las entradas de las matrices de Gram para las imágenes generadas y de estilo en la capa${\displaystyle l}$Explícitamente,$${\displaystyle G_{ij}^{l}({\vec {x}})=\sum _{k}F_{ik}^{l}({\vec {x}})F_{jk}^{l}({\vec {x}})}$$

Minimizar esta pérdida favorece que la imagen generada tenga características de estilo similares a la imagen de referencia, tal como se refleja en las correlaciones entre las respuestas de las características en cada capa. La idea es que las correlaciones del patrón de activación entre los filtros de una misma capa capturan el "estilo" en función de los campos receptivos de esa capa.

De manera similar al caso anterior, el${\displaystyle w_{l}}$son números reales positivos elegidos como hiperparámetros.

En el artículo original, utilizaron una selección particular de hiperparámetros.

La pérdida de estilo se calcula mediante${\displaystyle w_{l}=0.2}$para las salidas de las capas conv1_1, conv2_1, conv3_1, conv4_1, conv5_1en la red VGG-19, y cero en caso contrario. La pérdida de contenido se calcula mediante${\displaystyle w_{l}=1}$para conv4_2, y cero en caso contrario.

La proporción${\displaystyle \alpha /\beta \in [5,50]\times 10^{-4}}$.

Imagen${\displaystyle {\vec {x}}}$se aproxima inicialmente añadiendo una pequeña cantidad de ruido blanco a la imagen de entrada.${\displaystyle {\vec {p}}}$y alimentándolo a través de la CNN. Luego retropropagamos sucesivamente esta pérdida a través de la red con los pesos de la CNN fijos para actualizar los píxeles de${\displaystyle {\vec {x}}}$Después de varios miles de épocas de entrenamiento, un${\displaystyle {\vec {x}}}$(con suerte) surge algo que se ajusta al estilo de${\displaystyle {\vec {a}}}$y el contenido de${\displaystyle {\vec {p}}}$.

A partir de 2017, cuando se implementa en una GPU , tarda unos minutos en converger. ^{[ 8 ]}