Modelo de difusión

En aprendizaje automático , los modelos de difusión , también conocidos como modelos generativos basados en difusión o modelos generativos basados en puntuación , son una clase de modelos generativos de variables latentes . Un modelo de difusión consta de dos componentes principales: el proceso de difusión hacia adelante y el proceso de muestreo inverso. El objetivo de los modelos de difusión es aprender un proceso de difusión para un conjunto de datos dado, de manera que el proceso pueda generar nuevos elementos que se distribuyan de forma similar al conjunto de datos original. Un modelo de difusión modela los datos como generados por un proceso de difusión, donde un nuevo dato realiza un paseo aleatorio con deriva a través del espacio de todos los datos posibles. ^[¹^] Un modelo de difusión entrenado puede muestrearse de muchas maneras, con diferente eficiencia y calidad.

Existen varios formalismos equivalentes, incluyendo cadenas de Markov , modelos probabilísticos de difusión de eliminación de ruido, redes de puntuación condicionadas al ruido y ecuaciones diferenciales estocásticas. ^{[ 2 ]} Suelen entrenarse mediante inferencia variacional . ^{[ 3 ]} El modelo responsable de la eliminación de ruido se denomina normalmente su " columna vertebral ". La columna vertebral puede ser de cualquier tipo, pero suelen ser U-nets o transformadores .

A partir de 2024Los modelos de difusión se utilizan principalmente para tareas de visión artificial , incluyendo la eliminación de ruido en imágenes , el relleno de imágenes , la superresolución , la generación de imágenes y la generación de vídeo. Estas tareas suelen implicar el entrenamiento de una red neuronal para eliminar secuencialmente el ruido de imágenes borrosas con ruido gaussiano . ^{[ 1 ]}^{[ 4 ]} El modelo se entrena para revertir el proceso de añadir ruido a una imagen. Tras el entrenamiento hasta la convergencia, se puede utilizar para la generación de imágenes partiendo de una imagen compuesta de ruido aleatorio y aplicando la red iterativamente para eliminar el ruido de la imagen.

Los generadores de imágenes basados en difusión han despertado un gran interés comercial, como Stable Diffusion y DALL-E . Estos modelos suelen combinar modelos de difusión con otros modelos, como codificadores de texto y módulos de atención cruzada, para permitir la generación condicionada por texto. ^{[ 5 ]}

Además de la visión por computadora, los modelos de difusión también han encontrado aplicaciones en el procesamiento del lenguaje natural ^{[ 6 ]} como la generación de texto ^{[ 7 ]} y el resumen , ^{[ 8 ]} la generación de sonido, ^{[ 9 ]} y el aprendizaje por refuerzo . ^{[ 10 ]}^{[ 11 ]}

Modelo de difusión con eliminación de ruido

Termodinámica del no equilibrio

Los modelos de difusión se introdujeron en 2015 como un método para entrenar un modelo que puede muestrear a partir de una distribución de probabilidad altamente compleja. Utilizaron técnicas de la termodinámica del no equilibrio , especialmente la difusión . ^{[ 12 ]}

Consideremos, por ejemplo, cómo se podría modelar la distribución de todas las fotos que ocurren de forma natural. Cada imagen es un punto en el espacio de todas las imágenes, y la distribución de las fotos que ocurren de forma natural es una "nube" en el espacio que, al agregar ruido repetidamente a las imágenes, se difunde hacia el resto del espacio de imágenes, hasta que la nube se vuelve prácticamente indistinguible de una distribución gaussiana. ${\mathcal {N}}(0,I)$ Un modelo que permita revertir aproximadamente la difusión puede utilizarse para muestrear la distribución original. Esto se estudia en la termodinámica del "no equilibrio", ya que la distribución inicial no se encuentra en equilibrio, a diferencia de la distribución final.

La distribución de equilibrio es la distribución gaussiana. ${\mathcal {N}}(0,I)$ , con pdf $\rho (x)\propto e^{-{\frac {1}{2}}\|x\|^{2}}$ Esta es simplemente la distribución de Maxwell-Boltzmann de partículas en un pozo de potencial . $V(x)={\frac {1}{2}}\|x\|^{2}$ A temperatura 1, la distribución inicial, al estar muy alejada del equilibrio, se difundiría hacia la distribución de equilibrio, realizando pasos aleatorios sesgados que son una suma de pura aleatoriedad (como un caminante browniano ) y descenso de gradiente a través del pozo de potencial. La aleatoriedad es necesaria: si las partículas solo experimentaran descenso de gradiente, todas caerían al origen, colapsando la distribución.

Modelo probabilístico de difusión con eliminación de ruido (DDPM)

El artículo de 2020 propuso el Modelo Probabilístico de Difusión de Eliminación de Ruido (DDPM), que mejora el método anterior mediante inferencia variacional . ^{[ 3 ]}^{[ 13 ]}

Difusión hacia adelante

Para presentar el modelo, se requiere cierta notación.

$\beta _{1},...,\beta _{T}\in (0,1)$ son constantes fijas.
$\alpha _{t}:=1-\beta _{t}$
${\bar {\alpha }}_{t}:=\alpha _{1}\cdots \alpha _{t}$
$\sigma _{t}:={\sqrt {1-{\bar {\alpha }}_{t}}}$
${\tilde {\sigma }}_{t}:={\frac {\sigma _{t-1}}{\sigma _{t}}}{\sqrt {\beta _{t}}}$
${\tilde {\mu }}_{t}(x_{t},x_{0}):={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})x_{t}+{\sqrt {{\bar {\alpha }}_{t-1}}}(1-\alpha _{t})x_{0}}{\sigma _{t}^{2}}}$
${\mathcal {N}}(\mu,\Sigma)$ es la distribución normal con media $\mu$ y varianza $\Sigma$ , y ${\mathcal {N}}(x|\mu,\Sigma)$ es la densidad de probabilidad en $x$ .
Una barra vertical indica condicionamiento .

Un proceso de difusión hacia adelante comienza en algún punto de partida. $x_{0}\sim q$ , dónde $q$ es la distribución de probabilidad que se va a aprender, luego se le agrega ruido repetidamente mediante $x_{t}={\sqrt {1-\beta _{t}}}x_{t-1}+{\sqrt {\beta _{t}}}z_{t}$ dónde $z_{1},...,z_{T}$ son IID ( variables aleatorias independientes e idénticamente distribuidas ) muestras de ${\mathcal {N}}(0,I)$ . Los coeficientes ${\sqrt {1-\beta _{t}}}$ y ${\sqrt {\beta _{t}}}$ asegurar que ${\mbox{Var}}(X_{t})=I$ suponiendo que ${\mbox{Var}}(X_{0})=I$ . Los valores de $\beta _{t}$ se eligen de tal manera que para cualquier distribución inicial de $x_{0}$ , si tiene un segundo momento finito, entonces $\lim _{t\to \infty }x_{t}|x_{0}$ converge a ${\mathcal {N}}(0,I)$ .

Todo el proceso de difusión satisface entonces $q(x_{0:T})=q(x_{0})q(x_{1}|x_{0})\cdots q(x_{T}|x_{T-1})=q(x_{0}){\mathcal {N}}(x_{1}|{\sqrt {\alpha _{1}}}x_{0},\beta _{1}I)\cdots {\mathcal {N}}(x_{T}|{\sqrt {\alpha _{T}}}x_{T-1},\beta _{T}I)$ o $\ln q(x_{0:T})=\ln q(x_{0})-\sum _{t=1}^{T}{\frac {1}{2\beta _{t}}}\|x_{t}-{\sqrt {1-\beta _{t}}}x_{t-1}\|^{2}+C$ dónde $C$ es una constante de normalización y a menudo se omite. En particular, observamos que $x_{1:T}|x_{0}$ es un proceso gaussiano , lo que nos brinda una libertad considerable en la reparametrización . Por ejemplo, mediante manipulación estándar con un proceso gaussiano, $x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)$ $x_{t-1}|x_{t},x_{0}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},x_{0}),{\tilde {\sigma }}_{t}^{2}I)$ En particular, observe que para grandes $t$ , la variable $x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)$ converge a ${\mathcal {N}}(0,I)$ . Es decir, después de un proceso de difusión suficientemente largo, terminamos con algo $x_{T}$ eso está muy cerca de ${\mathcal {N}}(0,I)$ , con todos los rastros del original $x_{0}\sim q$ desaparecido.

Por ejemplo, dado que $x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)$ podemos hacer una muestra $x_{t}|x_{0}$ directamente "en un solo paso", en lugar de pasar por todos los pasos intermedios. $x_{1},x_{2},...,x_{t-1}$ .

Derivación por reparametrización

Lo sabemos ${\textstyle x_{t-1}|x_{0}}$ es una gaussiana y ${\textstyle x_{t}|x_{t-1}}$ es otra gaussiana. También sabemos que son independientes. Por lo tanto, podemos realizar una reparametrización: $x_{t-1}={\sqrt {{\bar {\alpha }}_{t-1}}}x_{0}+{\sqrt {1-{\bar {\alpha }}_{t-1}}}z$ $x_{t}={\sqrt {\alpha _{t}}}x_{t-1}+{\sqrt {1-\alpha _{t}}}z'$ dónde ${\textstyle z,z'}$ son gaussianas IID.

Hay 5 variables ${\textstyle x_{0},x_{t-1},x_{t},z,z'}$ y dos ecuaciones lineales. Las dos fuentes de aleatoriedad son: ${\textstyle z,z'}$ , que puede ser reparametrizada por rotación, ya que la distribución gaussiana IID es simétrica rotacionalmente.

Sustituyendo las ecuaciones, podemos resolver la primera reparametrización: $x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\underbrace {{\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}z+{\sqrt {1-\alpha _{t}}}z'} _{=\sigma _{t}z''}$ dónde ${\textstyle z''}$ es una distribución gaussiana con media cero y varianza uno.

Para hallar el segundo, completamos la matriz de rotación: ${\begin{bmatrix}z''\\z'''\end{bmatrix}}={\begin{bmatrix}{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}&{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}\\?&?\end{bmatrix}}{\begin{bmatrix}z\\z'\end{bmatrix}}$

Dado que las matrices de rotación son todas de la forma ${\textstyle {\begin{bmatrix}\cos \theta &\sin \theta \\-\sin \theta &\cos \theta \end{bmatrix}}}$ , sabemos que la matriz debe ser ${\begin{bmatrix}z''\\z'''\end{bmatrix}}={\begin{bmatrix}{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}&{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}\\-{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}&{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}\end{bmatrix}}{\begin{bmatrix}z\\z'\end{bmatrix}}$ y puesto que la inversa de una matriz de rotación es su transpuesta, ${\begin{bmatrix}z\\z'\end{bmatrix}}={\begin{bmatrix}{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}&-{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}\\{\frac {\sqrt {\beta _{t}}}{\sigma _{t}}}&{\frac {\sqrt {\alpha _{t}-{\bar {\alpha }}_{t}}}{\sigma _{t}}}\end{bmatrix}}{\begin{bmatrix}z''\\z'''\end{bmatrix}}$

Volviendo a conectar y simplificando, tenemos $x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}z''$ $x_{t-1}={\tilde {\mu }}_{t}(x_{t},x_{0})-{\tilde {\sigma }}_{t}z'''$

Difusión hacia atrás

La idea clave de DDPM es utilizar una red neuronal parametrizada por $\theta$ La red recibe dos argumentos. $x_{t},t$ y genera un vector $\mu _{\theta }(x_{t},t)$ y una matriz $\Sigma _{\theta }(x_{t},t)$ , de tal manera que cada paso en el proceso de difusión hacia adelante puede ser aproximadamente deshecho por $x_{t-1}\sim {\mathcal {N}}(\mu _{\theta }(x_{t},t),\Sigma _{\theta }(x_{t},t))$ Esto nos da entonces un proceso de difusión hacia atrás. $p_{\theta }$ definido por $p_{\theta }(x_{T})={\mathcal {N}}(x_{T}|0,I)$ $p_{\theta }(x_{t-1}|x_{t})={\mathcal {N}}(x_{t-1}|\mu _{\theta }(x_{t},t),\Sigma _{\theta }(x_{t},t))$ El objetivo ahora es aprender los parámetros. $\theta$ de tal manera que $p_{\theta }(x_{0})$ es lo más cercano a $q(x_{0})$ en la medida de lo posible. Para ello, utilizamos la estimación de máxima verosimilitud con inferencia variacional.

Inferencia variacional

La desigualdad ELBO establece que $\ln p_{\theta }(x_{0})\geq E_{x_{1:T}\sim q(\cdot |x_{0})}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]$ y tomando una expectativa más, obtenemos $E_{x_{0}\sim q}[\ln p_{\theta }(x_{0})]\geq E_{x_{0:T}\sim q}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]$ Observamos que maximizar la cantidad de la derecha nos daría un límite inferior para la probabilidad de los datos observados. Esto nos permite realizar inferencia variacional.

Defina la función de pérdida $L(\theta ):=-E_{x_{0:T}\sim q}[\ln p_{\theta }(x_{0:T})-\ln q(x_{1:T}|x_{0})]$ y ahora el objetivo es minimizar la pérdida mediante descenso de gradiente estocástico . La expresión se puede simplificar a ^{[ 14 ].} $L(\theta )=\sum _{t=1}^{T}E_{x_{t-1},x_{t}\sim q}[-\ln p_{\theta }(x_{t-1}|x_{t})]+E_{x_{0}\sim q}[D_{KL}(q(x_{T}|x_{0})\|p_{\theta }(x_{T}))]+C$ dónde $C$ no depende del parámetro y, por lo tanto, puede ignorarse. Dado que $p_{\theta }(x_{T})={\mathcal {N}}(x_{T}|0,I)$ tampoco depende del parámetro, el término $E_{x_{0}\sim q}[D_{KL}(q(x_{T}|x_{0})\|p_{\theta }(x_{T}))]$ También se puede ignorar. Esto deja solo $L(\theta )=\sum _{t=1}^{T}L_{t}$ con $L_{t}=E_{x_{t-1},x_{t}\sim q}[-\ln p_{\theta }(x_{t-1}|x_{t})]$ ser minimizado.

Red de predicción de ruido

Desde $x_{t-1}|x_{t},x_{0}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},x_{0}),{\tilde {\sigma }}_{t}^{2}I)$ , esto sugiere que deberíamos usar $\mu _{\theta }(x_{t},t)={\tilde {\mu }}_{t}(x_{t},x_{0})$ ; sin embargo, la red no tiene acceso a $x_{0}$ y por lo tanto tiene que estimarlo en su lugar. Ahora, dado que $x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)$ , podemos escribir $x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}z$ , dónde $z$ es algún ruido gaussiano desconocido. Ahora vemos que estimar $x_{0}$ es equivalente a estimar $z$ .

Por lo tanto, dejemos que la red genere un vector de ruido. $\epsilon _{\theta }(x_{t},t)$ y deja que prediga $\mu _{\theta }(x_{t},t)={\tilde {\mu }}_{t}\left(x_{t},{\frac {x_{t}-\sigma _{t}\epsilon _{\theta }(x_{t},t)}{\sqrt {{\bar {\alpha }}_{t}}}}\right)={\frac {x_{t}-\epsilon _{\theta }(x_{t},t)\beta _{t}/\sigma _{t}}{\sqrt {\alpha _{t}}}}$ Queda por diseñar $\Sigma _{\theta }(x_{t},t)$ El documento DDPM sugería no aprenderlo (ya que resultaba en un "entrenamiento inestable y una peor calidad de la muestra"), sino fijarlo en algún valor. $\Sigma _{\theta }(x_{t},t)=\zeta _{t}^{2}I$ , donde o bien $\zeta _{t}^{2}=\beta _{t}{\text{ or }}{\tilde {\sigma }}_{t}^{2}$ arrojaron un rendimiento similar.

Con esto, la pérdida se simplifica a $L_{t}={\frac {\beta _{t}^{2}}{2\alpha _{t}\sigma _{t}^{2}\zeta _{t}^{2}}}E_{x_{0}\sim q;z\sim {\mathcal {N}}(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]+C$ que puede minimizarse mediante descenso de gradiente estocástico. El artículo señaló empíricamente que una función de pérdida aún más simple $L_{simple,t}=E_{x_{0}\sim q;z\sim {\mathcal {N}}(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]$ dio como resultado mejores modelos.

Proceso de difusión inversa

Una vez entrenada una red de predicción de ruido, se puede utilizar para generar puntos de datos en la distribución original en un bucle de la siguiente manera:

Calcular la estimación del ruido $\epsilon \leftarrow \epsilon _{\theta }(x_{t},t)$
Calcular la estimación de los datos originales ${\tilde {x}}_{0}\leftarrow (x_{t}-\sigma _{t}\epsilon )/{\sqrt {{\bar {\alpha }}_{t}}}$
Muestra los datos anteriores $x_{t-1}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),{\tilde {\sigma }}_{t}^{2}I)$
Cambiar de hora $t\leftarrow t-1$

Modelo generativo basado en puntuación

El modelo generativo basado en puntuación es otra formulación del modelado de difusión. También se les denomina red de puntuación condicional de ruido (NCSN) o coincidencia de puntuación con dinámica de Langevin (SMLD). ^{[ 15 ]}^{[ 16 ]}^{[ 17 ]}^{[ 18 ]}

Coincidencia de puntuación

La idea de las funciones de puntuación

Consideremos el problema de la generación de imágenes. Sea $x$ representar una imagen, y dejar $q(x)$ sea la distribución de probabilidad sobre todas las imágenes posibles. Si tenemos $q(x)$ Si analizamos esto por nosotros mismos, podemos determinar con certeza la probabilidad de una determinada imagen. Sin embargo, en general, esto resulta intratable.

Por lo general, no nos interesa conocer la probabilidad absoluta de una imagen determinada. En cambio, solemos estar interesados en saber cuán probable es una imagen en comparación con sus vecinas inmediatas; por ejemplo, ¿cuánto más probable es una imagen de un gato en comparación con algunas variantes pequeñas del mismo? ¿Es más probable si la imagen contiene dos bigotes, tres o si se le ha añadido ruido gaussiano?

Por consiguiente, en realidad no nos interesa en absoluto $q(x)$ sí mismo, sino más bien, $\nabla _{x}\ln q(x)$ Esto tiene dos efectos principales:

Primero, ya no necesitamos normalizar $q(x)$ pero puede utilizar cualquier ${\tilde {q}}(x)=Cq(x)$ , dónde $C=\int {\tilde {q}}(x)dx>0$ es cualquier constante desconocida que no nos concierne.
Dos, estamos comparando $q(x)$ vecinos $q(x+dx)$ , por ${\frac {q(x)}{q(x+dx)}}=e^{-\langle \nabla _{x}\ln q,dx\rangle }$

Sea la función de puntuación $s(x):=\nabla _{x}\ln q(x)$ ; luego consideremos qué podemos hacer con $s(x)$ .

Resulta que, $s(x)$ nos permite tomar muestras de $q(x)$ utilizando la termodinámica. Específicamente, si tenemos una función de energía potencial $U(x)=-\ln q(x)$ y hay muchas partículas en el pozo de potencial, entonces la distribución en equilibrio termodinámico es la distribución de Boltzmann. $q_{U}(x)\propto e^{-U(x)/k_{B}T}=q(x)^{1/k_{B}T}$ . A temperatura $k_{B}T=1$ , la distribución de Boltzmann es exactamente $q(x)$ .

Por lo tanto, para modelar $q(x)$ Podemos comenzar con una partícula muestreada en cualquier distribución conveniente (como la distribución gaussiana estándar), y luego simular el movimiento de la partícula hacia adelante según la ecuación de Langevin. $dx_{t}=-\nabla _{x_{t}}U(x_{t})dt+dW_{t}$ y la distribución de Boltzmann es, según la ecuación de Fokker-Planck, el único equilibrio termodinámico . Por lo tanto, no importa qué distribución $x_{0}$ tiene, la distribución de $x_{t}$ converge en distribución a $q$ como $t\to \infty$ .

Aprender la función de puntuación

Dada una densidad $q$ , deseamos aprender una aproximación de la función de puntuación $f_{\theta }\approx \nabla \ln q$ Esto es ajuste de puntuación . ^{[ 19 ]} Típicamente, el ajuste de puntuación se formaliza como la minimización de la función de divergencia de Fisher. $E_{q}[\|f_{\theta }(x)-\nabla \ln q(x)\|^{2}]$ . Al expandir la integral y realizar una integración por partes , $E_{q}[\|f_{\theta }(x)-\nabla \ln q(x)\|^{2}]=E_{q}[\|f_{\theta }\|^{2}+2\nabla \cdot f_{\theta }]+C$ lo que nos proporciona una función de pérdida, también conocida como la regla de puntuación de Hyvärinen , que puede minimizarse mediante el descenso de gradiente estocástico.

Recocido de la función de puntuación

Supongamos que necesitamos modelar la distribución de imágenes y queremos $x_{0}\sim {\mathcal {N}}(0,I)$ , una imagen de ruido blanco. Ahora bien, la mayoría de las imágenes de ruido blanco no se parecen a las imágenes reales, por lo que $q(x_{0})\approx 0$ para grandes extensiones de $x_{0}\sim {\mathcal {N}}(0,I)$ Esto presenta un problema para aprender la función de puntuación, porque si no hay muestras alrededor de un punto determinado, entonces no podemos aprender la función de puntuación en ese punto. Si no conocemos la función de puntuación $\nabla _{x_{t}}\ln q(x_{t})$ En ese punto, entonces no podemos imponer la ecuación de evolución temporal a una partícula: $dx_{t}=\nabla _{x_{t}}\ln q(x_{t})dt+dW_{t}$ Para abordar este problema, realizamos un recocido . Si $q$ Si es demasiado diferente de una distribución de ruido blanco, entonces agregamos ruido progresivamente hasta que sea indistinguible de una. Es decir, realizamos una difusión hacia adelante, luego aprendemos la función de puntuación y luego usamos la función de puntuación para realizar una difusión hacia atrás.

procesos de difusión continua

Proceso de difusión hacia adelante

Consideremos nuevamente el proceso de difusión hacia adelante, pero esta vez en tiempo continuo: $x_{t}={\sqrt {1-\beta _{t}}}x_{t-1}+{\sqrt {\beta _{t}}}z_{t}$ Al tomar el $\beta _{t}\to \beta (t)dt,{\sqrt {dt}}z_{t}\to dW_{t}$ En el límite, obtenemos un proceso de difusión continuo, en forma de ecuación diferencial estocástica : $dx_{t}=-{\frac {1}{2}}\beta (t)x_{t}dt+{\sqrt {\beta (t)}}dW_{t}$ dónde $W_{t}$ es un proceso de Wiener (movimiento browniano multidimensional).

Ahora bien, la ecuación es precisamente un caso especial de la ecuación de Langevin sobreamortiguada. $dx_{t}=-{\frac {D}{k_{B}T}}(\nabla _{x}U)dt+{\sqrt {2D}}dW_{t}$ dónde $D$ es el tensor de difusión, $T$ es la temperatura y $U$ es el campo de energía potencial. Si sustituimos en $D={\frac {1}{2}}\beta (t)I,k_{B}T=1,U={\frac {1}{2}}\|x\|^{2}$ Recuperamos la ecuación anterior. Esto explica por qué la expresión "dinámica de Langevin" se utiliza a veces en los modelos de difusión.

Ahora bien, la ecuación anterior es para el movimiento estocástico de una sola partícula. Supongamos que tenemos una nube de partículas distribuidas según $q$ en ese momento $t=0$ , luego, después de mucho tiempo, la nube de partículas se asentaría en la distribución estable de ${\mathcal {N}}(0,I)$ . Dejar $\rho _{t}$ sea la densidad de la nube de partículas en el tiempo $t$ , entonces tenemos $\rho _{0}=q;\quad \rho _{T}\approx {\mathcal {N}}(0,I)$ y el objetivo es, de alguna manera, revertir el proceso, para poder empezar por el final y volver a difundirlo hasta el principio.

Según la ecuación de Fokker-Planck , la densidad de la nube evoluciona de acuerdo con $\partial _{t}\ln \rho _{t}={\frac {1}{2}}\beta (t)\left(n+(x+\nabla \ln \rho _{t})\cdot \nabla \ln \rho _{t}+\Delta \ln \rho _{t}\right)$ dónde $n$ es la dimensión del espacio, y $\Delta$ es el operador de Laplace . Equivalentemente, $\partial _{t}\rho _{t}={\frac {1}{2}}\beta (t)(\nabla \cdot (x\rho _{t})+\Delta \rho _{t})$

Proceso de difusión inversa

Si hemos resuelto $\rho _{t}$ por tiempo $t\in [0,T]$ , entonces podemos revertir exactamente la evolución de la nube. Supongamos que comenzamos con otra nube de partículas con densidad $\nu _{0}=\rho _{T}$ y dejar que las partículas en la nube evolucionen según

$dy_{t}={\frac {1}{2}}\beta (T-t)y_{t}dt+\beta (T-t)\underbrace {\nabla _{y_{t}}\ln \rho _{T-t}\left(y_{t}\right)} _{\text{score function }}dt+{\sqrt {\beta (T-t)}}dW_{t}$

Luego, al sustituir en la ecuación de Fokker-Planck, encontramos que $\partial _{t}\rho _{T-t}=\partial _{t}\nu _{t}$ . Por lo tanto, esta nube de puntos es la nube original, que evoluciona hacia atrás. ^{[ 20 ]}

Red de puntuación condicional de ruido (NCSN)

En el límite continuo, ${\bar {\alpha }}_{t}=(1-\beta _{1})\cdots (1-\beta _{t})=e^{\sum _{i}\ln(1-\beta _{i})}\to e^{-\int _{0}^{t}\beta (t)dt}$ y entonces $x_{t}|x_{0}\sim N\left(e^{-{\frac {1}{2}}\int _{0}^{t}\beta (t)dt}x_{0},\left(1-e^{-\int _{0}^{t}\beta (t)dt}\right)I\right)$ En particular, vemos que podemos tomar muestras directamente de cualquier punto en el proceso de difusión continua sin pasar por los pasos intermedios, tomando primero muestras. $x_{0}\sim q,z\sim {\mathcal {N}}(0,I)$ , entonces obtener $x_{t}=e^{-{\frac {1}{2}}\int _{0}^{t}\beta (t)dt}x_{0}+\left(1-e^{-\int _{0}^{t}\beta (t)dt}\right)z$ Es decir, podemos tomar muestras rápidamente. $x_{t}\sim \rho _{t}$ para cualquier $t\geq 0$ .

Ahora, definamos una determinada distribución de probabilidad. $\gamma$ encima $[0,\infty )$ , entonces la función de pérdida de coincidencia de puntuación se define como la divergencia de Fisher esperada: $L(\theta )=E_{t\sim \gamma ,x_{t}\sim \rho _{t}}[\|f_{\theta }(x_{t},t)\|^{2}+2\nabla \cdot f_{\theta }(x_{t},t)]$ Después del entrenamiento, $f_{\theta }(x_{t},t)\approx \nabla \ln \rho _{t}$ , por lo que podemos realizar el proceso de difusión hacia atrás mediante el muestreo inicial. $x_{T}\sim {\mathcal {N}}(0,I)$ , luego integrando el SDE de $t=T$ a $t=0$ : $x_{t-dt}=x_{t}+{\frac {1}{2}}\beta (t)x_{t}dt+\beta (t)f_{\theta }(x_{t},t)dt+{\sqrt {\beta (t)}}dW_{t}$ Esto se puede hacer mediante cualquier método de integración de EDE, como el método de Euler-Maruyama .

El nombre "red de puntuación condicional de ruido" se explica de la siguiente manera:

"red", porque $f_{\theta }$ se implementa como una red neuronal.
"puntuación", porque la salida de la red se interpreta como una aproximación a la función de puntuación. $\nabla \ln \rho _{t}$ .
"condicional al ruido", porque $\rho _{t}$ es igual a $\rho _{0}$ La imagen se ve difuminada por un ruido gaussiano añadido que aumenta con el tiempo, por lo que la función de puntuación depende de la cantidad de ruido añadido.

Su equivalencia

DDPM y los modelos generativos basados en puntuación son equivalentes. ^{[ 16 ]}^{[ 1 ]}^{[ 21 ]} Esto significa que una red entrenada con DDPM puede usarse como NCSN, y viceversa.

Sabemos que $x_{t}|x_{0}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}x_{0},\sigma _{t}^{2}I\right)$ , por lo tanto, según la fórmula de Tweedie , tenemos $\nabla _{x_{t}}\ln q(x_{t})={\frac {1}{\sigma _{t}^{2}}}(-x_{t}+{\sqrt {{\bar {\alpha }}_{t}}}E_{q}[x_{0}|x_{t}])$ Como se describió anteriormente, la función de pérdida DDPM es $\sum _{t}L_{simple,t}$ con $L_{simple,t}=E_{x_{0}\sim q;z\sim {\mathcal {N}}(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]$ dónde $x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}z$ . Mediante un cambio de variables, $L_{simple,t}=E_{x_{0},x_{t}\sim q}\left[\left\|\epsilon _{\theta }(x_{t},t)-{\frac {x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}x_{0}}{\sigma _{t}}}\right\|^{2}\right]=E_{x_{t}\sim q,x_{0}\sim q(\cdot |x_{t})}\left[\left\|\epsilon _{\theta }(x_{t},t)-{\frac {x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}x_{0}}{\sigma _{t}}}\right\|^{2}\right]$ y el término interior se convierte en una regresión de mínimos cuadrados, por lo que si la red realmente alcanza el mínimo global de pérdida, entonces tenemos $\epsilon _{\theta }(x_{t},t)={\frac {x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}E_{q}[x_{0}|x_{t}]}{\sigma _{t}}}=-\sigma _{t}\nabla _{x_{t}}\ln q(x_{t})$

Por lo tanto, dada una buena red basada en puntuación, su puntuación predicha es una buena predicción del ruido (después de escalar por $\sigma _{t}$ ), y por lo tanto se puede utilizar para la reducción de ruido.

Por el contrario, el límite continuo $x_{t-1}=x_{t-dt},\beta _{t}=\beta (t)dt,z_{t}{\sqrt {dt}}=dW_{t}$ de la ecuación hacia atrás $x_{t-1}={\frac {x_{t}}{\sqrt {\alpha _{t}}}}-{\frac {\beta _{t}}{\sigma _{t}{\sqrt {\alpha _{t}}}}}\epsilon _{\theta }(x_{t},t)+{\sqrt {\beta _{t}}}z_{t};\quad z_{t}\sim {\mathcal {N}}(0,I)$ nos da precisamente la misma ecuación que la difusión basada en puntuaciones: $x_{t-dt}=x_{t}(1+\beta (t)dt/2)+\beta (t)\nabla _{x_{t}}\ln q(x_{t})dt+{\sqrt {\beta (t)}}dW_{t}$ De este modo, en pasos infinitesimales de DDPM, una red de eliminación de ruido realiza una difusión basada en puntuaciones.

Variantes principales

Horario de ruido

{\displaystyle \beta _{1}=10^{-4},\beta _{1000}=0.02} — Ilustración de un esquema de ruido de difusión lineal. Con ajustes $\beta _{1}=10^{-4},\beta _{1000}=0.02$ .

En DDPM, la secuencia de números $0=\sigma _{0}<\sigma _{1}<\cdots <\sigma _{T}<1$ Se denomina programa de ruido (de tiempo discreto) . En general, considérese una función monótona estrictamente creciente. $\sigma$ de tipo $\mathbb {R} \to (0,1)$ , como la función sigmoide . En ese caso, un programa de ruido es una secuencia de números reales. $\lambda _{1}<\lambda _{2}<\cdots <\lambda _{T}$ Luego define una secuencia de ruidos. $\sigma _{t}:=\sigma (\lambda _{t})$ , que luego deriva las otras cantidades $\beta _{t}=1-{\frac {1-\sigma _{t}^{2}}{1-\sigma _{t-1}^{2}}}$ .

Para utilizar programas de ruido arbitrarios, en lugar de entrenar un modelo de predicción de ruido $\epsilon _{\theta }(x_{t},t)$ , uno entrena $\epsilon _{\theta }(x_{t},\sigma _{t})$ .

De manera similar, para la red de puntuación condicional de ruido, en lugar de entrenar $f_{\theta }(x_{t},t)$ , uno entrena $f_{\theta }(x_{t},\sigma _{t})$ .

Modelo implícito de difusión de eliminación de ruido (DDIM)

El método DDPM original para generar imágenes es lento, ya que el proceso de difusión hacia adelante suele tardar $T\sim 1000$ para hacer la distribución de $x_{T}$ para parecer cercano a Gaussiana. Sin embargo, esto significa que el proceso de difusión hacia atrás también toma 1000 pasos. A diferencia del proceso de difusión hacia adelante, que puede omitir pasos como $x_{t}|x_{0}$ es gaussiana para todos $t\geq 1$ El proceso de difusión hacia atrás no permite saltarse pasos. Por ejemplo, para muestrear $x_{t-2}|x_{t-1}\sim {\mathcal {N}}(\mu _{\theta }(x_{t-1},t-1),\Sigma _{\theta }(x_{t-1},t-1))$ requiere que el modelo primero realice un muestreo. $x_{t-1}$ Intentando tomar muestras directamente $x_{t-2}|x_{t}$ nos obligaría a marginarnos $x_{t-1}$ , lo cual suele ser intratable.

DDIM ^{[ 22 ]} es un método que toma cualquier modelo entrenado con la función de pérdida DDPM y lo utiliza para muestrear omitiendo algunos pasos, sacrificando una cantidad ajustable de calidad. Si generamos el caso de cadena markoviana en DDPM a un caso no markoviano, DDIM corresponde al caso en que el proceso inverso tiene una varianza igual a 0. En otras palabras, el proceso inverso (y también el proceso directo) es determinista. Al usar menos pasos de muestreo, DDIM supera a DDPM.

En detalle, el método de muestreo DDIM es el siguiente. Se comienza con el proceso de difusión directa. $x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+\sigma _{t}\epsilon$ . Luego, durante el proceso de eliminación de ruido hacia atrás, dado $x_{t},\epsilon _{\theta }(x_{t},t)$ , los datos originales se estiman como $x_{0}'={\frac {x_{t}-\sigma _{t}\epsilon _{\theta }(x_{t},t)}{\sqrt {{\bar {\alpha }}_{t}}}}$ Entonces el proceso de difusión hacia atrás puede saltar a cualquier paso. $0\leq s<t$ y la siguiente muestra sin ruido es $x_{s}={\sqrt {{\bar {\alpha }}_{s}}}x_{0}'+{\sqrt {\sigma _{s}^{2}-(\sigma '_{s})^{2}}}\epsilon _{\theta }(x_{t},t)+\sigma _{s}'\epsilon$ dónde $\sigma _{s}'$ es un número real arbitrario dentro del rango $[0,\sigma _{s}]$ , y $\epsilon \sim {\mathcal {N}}(0,I)$ es un ruido gaussiano recién muestreado. ^{[ 14 ]} Si todo $\sigma _{s}'=0$ Entonces, el proceso inverso se vuelve determinista, y este caso especial de DDIM también se denomina "DDIM". El artículo original señaló que, cuando el proceso es determinista, las muestras generadas con solo 20 pasos son ya muy similares a las generadas con 1000 pasos a un nivel superior.

El artículo original recomendaba definir un único "valor eta". $\eta \in [0,1]$ , de tal manera que $\sigma _{s}'=\eta {\tilde {\sigma }}_{s}$ . Cuando $\eta =1$ , este es el DDPM original. Cuando $\eta =0$ Este es el DDIM totalmente determinista. Para valores intermedios, el proceso interpola entre ellos.

Por equivalencia, el algoritmo DDIM también se aplica a los modelos de difusión basados en puntuaciones.

modelo de difusión latente (LDM)

Dado que el modelo de difusión es un método general para modelar distribuciones de probabilidad, si se desea modelar una distribución sobre imágenes, primero se pueden codificar las imágenes en un espacio de menor dimensión mediante un codificador, y luego usar un modelo de difusión para modelar la distribución sobre las imágenes codificadas. Posteriormente, para generar una imagen, se puede muestrear a partir del modelo de difusión y luego usar un decodificador para convertirlo en una imagen. ^{[ 23 ]}

El par codificador-decodificador suele ser un autoencoder variacional (VAE).

Mejoras arquitectónicas

^{[ 24 ]} propusieron varias mejoras arquitectónicas. Por ejemplo, propusieron la interpolación en el espacio logarítmico durante el muestreo hacia atrás. En lugar de muestrear desde $x_{t-1}\sim {\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),{\tilde {\sigma }}_{t}^{2}I)$ , recomendaron tomar muestras de ${\mathcal {N}}({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),(\sigma _{t}^{v}{\tilde {\sigma }}_{t}^{1-v})^{2}I)$ para un parámetro aprendido $v$ .

En el formalismo de predicción v , la fórmula de ruido $x_{t}={\sqrt {{\bar {\alpha }}_{t}}}x_{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}\epsilon _{t}$ se reparametriza mediante un ángulo $\phi _{t}$ de tal manera que $\cos \phi _{t}={\sqrt {{\bar {\alpha }}_{t}}}$ y una "velocidad" definida por $\cos \phi _{t}\epsilon _{t}-\sin \phi _{t}x_{0}$ La red está entrenada para predecir la velocidad. ${\hat {v}}_{\theta }$ y la eliminación de ruido se realiza mediante $x_{\phi _{t}-\delta }=\cos(\delta )\;x_{\phi _{t}}-\sin(\delta ){\hat {v}}_{\theta }\;(x_{\phi _{t}})$ . ^{[ 25 ]} Se descubrió que esta parametrización mejoraba el rendimiento, ya que el modelo se puede entrenar para alcanzar el ruido total (es decir, $\phi _{t}=90^{\circ }$ ) y luego invertirlo, mientras que la parametrización estándar nunca alcanza el ruido total ya que ${\sqrt {{\bar {\alpha }}_{t}}}>0$ Siempre es cierto. ^{[ 26 ]}

Guía del clasificador

En 2021 se propuso la guía del clasificador para mejorar la generación condicional de clases mediante el uso de un clasificador. La publicación original utilizó codificadores de texto CLIP para mejorar la generación de imágenes condicional de texto. ^{[ 27 ]}

Supongamos que deseamos muestrear no de toda la distribución de imágenes, sino condicionalmente a la descripción de la imagen. No queremos muestrear una imagen genérica, sino una imagen que se ajuste a la descripción "gato negro con ojos rojos". En general, queremos muestrear de la distribución. $p(x|y)$ , dónde $x$ abarca imágenes y $y$ abarca diferentes clases de imágenes (una descripción como "gato negro con ojos rojos" es simplemente una clase muy detallada, y una clase "gato" es simplemente una descripción muy vaga).

Desde la perspectiva del modelo de canal ruidoso , podemos entender el proceso de la siguiente manera: Para generar una imagen $x$ condicionado a la descripción $y$ , imaginamos que el solicitante realmente tenía en mente una imagen $x$ , pero la imagen pasa a través de un canal ruidoso y sale distorsionada, como $y$ La generación de imágenes no es entonces más que inferir cuál $x$ lo que el solicitante tenía en mente.

En otras palabras, la generación de imágenes condicional es simplemente "traducir de un lenguaje textual a un lenguaje pictórico". Luego, como en el modelo de canal ruidoso, usamos el teorema de Bayes para obtener $p(x|y)\propto p(y|x)p(x)$ En otras palabras, si tenemos un buen modelo del espacio de todas las imágenes y un buen traductor de imagen a clase, obtenemos un traductor de clase a imagen "gratis". En la ecuación para la difusión hacia atrás, la puntuación $\nabla \ln p(x)$ puede ser reemplazado por $\nabla _{x}\ln p(x|y)=\underbrace {\nabla _{x}\ln p(x)} _{\text{score}}+\underbrace {\nabla _{x}\ln p(y|x)} _{\text{classifier guidance}}$ dónde $\nabla _{x}\ln p(x)$ es la función de puntuación, entrenada como se describió anteriormente, y $\nabla _{x}\ln p(y|x)$ se encuentra utilizando un clasificador de imágenes diferenciable.

Durante el proceso de difusión, necesitamos condicionar el tiempo, dando $\nabla _{x_{t}}\ln p(x_{t}|y,t)=\nabla _{x_{t}}\ln p(y|x_{t},t)+\nabla _{x_{t}}\ln p(x_{t}|t)$ Aunque, por lo general el modelo clasificador no depende del tiempo, en cuyo caso $p(y|x_{t},t)=p(y|x_{t})$ .

La guía del clasificador se define para el gradiente de la función de puntuación, por lo tanto para la red de difusión basada en puntuación, pero como se señaló anteriormente, los modelos de difusión basados en puntuación son equivalentes a los modelos de eliminación de ruido por $\epsilon _{\theta }(x_{t},t)=-\sigma _{t}\nabla _{x_{t}}\ln p(x_{t}|t)$ y de manera similar, $\epsilon _{\theta }(x_{t},y,t)=-\sigma _{t}\nabla _{x_{t}}\ln p(x_{t}|y,t)$ . Por lo tanto, la guía del clasificador también funciona para la difusión de eliminación de ruido, utilizando la predicción de ruido modificada: ^{[ 27 ]} $\epsilon _{\theta }(x_{t},y,t)=\epsilon _{\theta }(x_{t},t)-\underbrace {\sigma _{t}\nabla _{x_{t}}\ln p(y|x_{t},t)} _{\text{classifier guidance}}$

Con temperatura

El modelo de difusión guiado por clasificador toma muestras de $p(x|y)$ , que se concentra en torno a la estimación a posteriori máxima $\arg \max _{x}p(x|y)$ Si queremos forzar al modelo a moverse hacia la estimación de máxima verosimilitud $\arg \max _{x}p(y|x)$ , podemos usar $p_{\gamma }(x|y)\propto p(y|x)^{\gamma }p(x)$ dónde $\gamma >0$ es interpretable como temperatura inversa . En el contexto de los modelos de difusión, se suele denominar escala de guía . Un valor alto $\gamma$ obligaría al modelo a muestrear a partir de una distribución concentrada alrededor de $\arg \max _{x}p(y|x)$ . Esto a veces mejora la calidad de las imágenes generadas. ^{[ 27 ]}

Esto introduce una modificación en la ecuación anterior: $\nabla _{x}\ln p_{\beta }(x|y)=\nabla _{x}\ln p(x)+\gamma \nabla _{x}\ln p(y|x)$ Para los modelos de eliminación de ruido, corresponde a ^{[ 28 ].} $\epsilon _{\theta }(x_{t},y,t)=\epsilon _{\theta }(x_{t},t)-\gamma \sigma _{t}\nabla _{x_{t}}\ln p(y|x_{t},t)$

Guía sin clasificadores (CFG)

Si no tenemos un clasificador $p(y|x)$ , aún podríamos extraer uno del propio modelo de imagen: ^{[ 28 ]} $\nabla _{x}\ln p_{\gamma }(x|y)=(1-\gamma )\nabla _{x}\ln p(x)+\gamma \nabla _{x}\ln p(x|y)$ Este modelo se suele entrenar presentándole ambos $(x,y)$ y $(x,{\rm {None}})$ , lo que le permite modelar ambos $\nabla _{x}\ln p(x|y)$ y $\nabla _{x}\ln p(x)$ .

Cabe señalar que, para CFG, el modelo de difusión no puede ser simplemente un modelo generativo de toda la distribución de datos. $\nabla _{x}\ln p(x)$ Debe ser un modelo generativo condicional. $\nabla _{x}\ln p(x|y)$ Por ejemplo, en la difusión estable, la estructura principal de difusión toma como entrada un modelo ruidoso. $x_{t}$ , un tiempo $t$ y un vector de condicionamiento $y$ (como un vector que codifica una indicación de texto) y produce una predicción de ruido. $\epsilon _{\theta }(x_{t},y,t)$ .

Para los modelos de eliminación de ruido, corresponde a $\epsilon _{\theta }(x_{t},y,t,\gamma )=\epsilon _{\theta }(x_{t},t)+\gamma (\epsilon _{\theta }(x_{t},y,t)-\epsilon _{\theta }(x_{t},t))$ Como se muestrea mediante DDIM, el algoritmo se puede escribir como ^{[ 29 ].} ${\begin{aligned}\epsilon _{\text{uncond}}&\leftarrow \epsilon _{\theta }(x_{t},t)\\\epsilon _{\text{cond}}&\leftarrow \epsilon _{\theta }(x_{t},t,c)\\\epsilon _{\text{CFG}}&\leftarrow \epsilon _{\text{uncond}}+\gamma (\epsilon _{\text{cond}}-\epsilon _{\text{uncond}})\\x_{0}&\leftarrow (x_{t}-\sigma _{t}\epsilon _{\text{CFG}})/{\sqrt {1-\sigma _{t}^{2}}}\\x_{s}&\leftarrow {\sqrt {1-\sigma _{s}^{2}}}x_{0}+{\sqrt {\sigma _{s}^{2}-(\sigma _{s}')^{2}}}\epsilon _{\text{uncond}}+\sigma _{s}'\epsilon \\\end{aligned}}$ Una técnica similar se aplica al muestreo de modelos de lenguaje. Además, si la generación incondicional $\epsilon _{\text{uncond}}\leftarrow \epsilon _{\theta }(x_{t},t)$ es reemplazado por $\epsilon _{\text{neg cond}}\leftarrow \epsilon _{\theta }(x_{t},t,c')$ , entonces resulta en una incitación negativa, que aleja a la generación de $c'$ condición. ^{[ 30 ]}^{[ 31 ]}

Muestras

Dado un modelo de difusión, se puede considerar como un proceso continuo y muestrear a partir de él integrando una EDE, o se puede considerar como un proceso discreto y muestrear a partir de él iterando los pasos discretos. La elección del " programa de ruido " $\beta _{t}$ También puede afectar la calidad de las muestras. Un programa de ruido es una función que envía un número natural a un nivel de ruido: $t\mapsto \beta _{t},\quad t\in \{1,2,\dots \},\beta \in (0,1)$ Un horario de ruido se especifica con mayor frecuencia mediante un mapa. $t\mapsto \sigma _{t}$ Las dos definiciones son equivalentes, ya que $\beta _{t}=1-{\frac {1-\sigma _{t}^{2}}{1-\sigma _{t-1}^{2}}}$ .

Desde la perspectiva de DDPM, se puede usar el propio DDPM (con ruido) o DDIM (con cantidad de ruido ajustable). El caso en el que se agrega ruido a veces se denomina muestreo ancestral. ^{[ 32 ]} Se puede interpolar entre ruido y ausencia de ruido. La cantidad de ruido se denota $\eta$ ("valor eta") en el documento DDIM, con $\eta =0$ que denota ausencia de ruido (como en DDIM determinista ), y $\eta =1$ que denota ruido completo (como en DDPM).

Desde la perspectiva de las EDE, se puede utilizar cualquiera de los métodos de integración numérica , como el método de Euler-Maruyama , el método de Heun , los métodos lineales multipaso , etc. Al igual que en el caso discreto, se puede añadir una cantidad ajustable de ruido durante la integración. ^{[ 33 ]}

Se ha realizado un estudio y una comparación de muestreadores en el contexto de la generación de imágenes. ^{[ 34 ]}

Otros ejemplos

Las variantes notables incluyen ^{[ 35 ]} modelo generativo de flujo de Poisson, ^{[ 36 ]} modelo de consistencia, ^{[ 37 ]} difusión de Langevin críticamente amortiguada, ^{[ 38 ]} GenPhys, ^{[ 39 ]} difusión fría, ^{[ 40 ]} etc.

Modelo de difusión basado en el flujo

En abstracto, la idea del modelo de difusión es tomar una distribución de probabilidad desconocida (la distribución de imágenes de aspecto natural) y luego convertirla progresivamente en una distribución de probabilidad conocida (distribución gaussiana estándar), construyendo una trayectoria de probabilidad absolutamente continua que las conecte. La trayectoria de probabilidad está definida implícitamente por la función de puntuación. $\nabla \ln p_{t}$ .

En los modelos de difusión con eliminación de ruido, el proceso directo añade ruido y el proceso inverso lo elimina. Ambos procesos son EDE , aunque el proceso directo es integrable en forma cerrada, por lo que puede realizarse sin coste computacional. El proceso inverso no es integrable en forma cerrada, por lo que debe integrarse paso a paso mediante solucionadores de EDE estándar, lo que puede resultar muy costoso. La trayectoria de probabilidad en el modelo de difusión se define mediante un proceso de Itô y se puede obtener el proceso determinista utilizando la formulación de flujo de EDO de probabilidad. ^{[ 1 ]}

En los modelos de difusión basados en flujo, el proceso directo es un flujo determinista a lo largo de un campo vectorial dependiente del tiempo, y el proceso inverso también es un flujo determinista a lo largo del mismo campo vectorial, pero en sentido contrario. Ambos procesos son soluciones de ecuaciones diferenciales ordinarias (EDO) . Si el campo vectorial se comporta correctamente, la EDO también se comportará correctamente.

Dadas dos distribuciones $\pi _{0}$ y $\pi _{1}$ Un modelo basado en el flujo es un campo de velocidad dependiente del tiempo. $v_{t}(x)$ en $[0,1]\times \mathbb {R} ^{d}$ , de tal manera que si comenzamos tomando un punto $x\sim \pi _{0}$ y dejar que se mueva según el campo de velocidad: ${\frac {d}{dt}}\phi _{t}(x)=v_{t}(\phi _{t}(x))\quad t\in [0,1],\quad {\text{starting from }}\phi _{0}(x)=x$ terminamos con un punto $x_{1}\sim \pi _{1}$ La solución $\phi _{t}$ La ecuación diferencial ordinaria anterior define una trayectoria de probabilidad. $p_{t}=[\phi _{t}]_{\#}\pi _{0}$ por el operador de medida pushforward . En particular, $[\phi _{1}]_{\#}\pi _{0}=\pi _{1}$ .

La trayectoria de probabilidad y el campo de velocidad también satisfacen la ecuación de continuidad , en el sentido de distribución de probabilidad: $\partial _{t}p_{t}+\nabla \cdot (v_{t}p_{t})=0$ Para construir una ruta de probabilidad, comenzamos construyendo una ruta de probabilidad condicional. $p_{t}(x\vert z)$ y el campo de velocidad condicional correspondiente $v_{t}(x\vert z)$ en alguna distribución condicional $q(z)$ Una opción natural es la trayectoria de probabilidad condicional gaussiana: $p_{t}(x\vert z)={\mathcal {N}}\left(m_{t}(z),\zeta _{t}^{2}I\right)$ El campo de velocidad condicional que corresponde a la trayectoria geodésica entre la trayectoria gaussiana condicional es $v_{t}(x\vert z)={\frac {\zeta _{t}'}{\zeta _{t}}}(x-m_{t}(z))+m_{t}'(z)$ La trayectoria de probabilidad y el campo de velocidad se calculan luego marginalizando

$p_{t}(x)=\int p_{t}(x\vert z)q(z)dz\qquad {\text{ and }}\qquad v_{t}(x)=\mathbb {E} _{q(z)}\left[{\frac {v_{t}(x\vert z)p_{t}(x\vert z)}{p_{t}(x)}}\right]$

Flujo de transporte óptimo

La idea del flujo de transporte óptimo ^{[ 41 ]} es construir una ruta de probabilidad que minimice la métrica de Wasserstein . La distribución sobre la que condicionamos es una aproximación del plan de transporte óptimo entre $\pi _{0}$ y $\pi _{1}$ : $z=(x_{0},x_{1})$ y $q(z)=\Gamma (\pi _{0},\pi _{1})$ , dónde $\Gamma$ es el plan de transporte óptimo, que puede aproximarse mediante el transporte óptimo por minilotes. Si el tamaño del lote no es grande, el transporte que calcula puede estar muy lejos del transporte óptimo real.

Flujo rectificado

La idea del flujo rectificado ^{[ 42 ]}^{[ 43 ]} consiste en aprender un modelo de flujo tal que la velocidad sea casi constante a lo largo de cada trayectoria de flujo. Esto es beneficioso, porque podemos integrar a lo largo de dicho campo vectorial con muy pocos pasos. Por ejemplo, si una EDO ${\dot {\phi _{t}}}(x)=v_{t}(\phi _{t}(x))$ sigue caminos perfectamente rectos, se simplifica a $\phi _{t}(x)=x_{0}+t\cdot v_{0}(x_{0})$ , lo que permite obtener soluciones exactas en un solo paso. En la práctica, no podemos alcanzar tal perfección, pero cuando el campo de flujo se aproxima a ella, podemos dar unos pocos pasos grandes en lugar de muchos pasos pequeños.

La idea general es comenzar con dos distribuciones. $\pi _{0}$ y $\pi _{1}$ , luego construir un campo de flujo $\phi ^{0}=\{\phi _{t}:t\in [0,1]\}$ A partir de él, aplique repetidamente una operación de "reflujo" para obtener campos de flujo sucesivos. $\phi ^{1},\phi ^{2},\dots$ , cada uno más recto que el anterior. Cuando el campo de flujo es lo suficientemente recto para la aplicación, nos detenemos.

En general, para cualquier proceso diferenciable en el tiempo $\phi _{t}$ , $v_{t}$ se puede estimar resolviendo: $\min _{\theta }\int _{0}^{1}\mathbb {E} _{x\sim p_{t}}\left[\lVert {v_{t}(x,\theta )-v_{t}(x)}\rVert ^{2}\right]\,\mathrm {d} t.$

En el flujo rectificado, al inyectar fuertes premisas de que las trayectorias intermedias son rectas, se puede lograr tanto relevancia teórica para el transporte óptimo como eficiencia computacional, ya que las EDO con trayectorias rectas se pueden simular con precisión sin discretización temporal.

Específicamente, el flujo rectificado busca hacer coincidir una EDO con las distribuciones marginales de la interpolación lineal entre puntos de las distribuciones. $\pi _{0}$ y $\pi _{1}$ . Observaciones dadas $x_{0}\sim \pi _{0}$ y $x_{1}\sim \pi _{1}$ , la interpolación lineal canónica $x_{t}=tx_{1}+(1-t)x_{0},t\in [0,1]$ produce un caso trivial ${\dot {x}}_{t}=x_{1}-x_{0}$ , que no puede ser simulado causalmente sin $x_{1}$ Para abordar esto, $x_{t}$ se "proyecta" en un espacio de EDO causalmente simulables, minimizando la pérdida de mínimos cuadrados con respecto a la dirección $x_{1}-x_{0}$ : $\min _{\theta }\int _{0}^{1}\mathbb {E} _{\pi _{0},\pi _{1},p_{t}}\left[\lVert {(x_{1}-x_{0})-v_{t}(x_{t})}\rVert ^{2}\right]\,\mathrm {d} t.$

El par de datos $(x_{0},x_{1})$ puede ser cualquier acoplamiento de $\pi _{0}$ y $\pi _{1}$ , típicamente independientes (es decir, $(x_{0},x_{1})\sim \pi _{0}\times \pi _{1}$ ) obtenido mediante la combinación aleatoria de observaciones de $\pi _{0}$ y $\pi _{1}$ . Este proceso asegura que las trayectorias reflejen fielmente el mapa de densidad de $x_{t}$ trayectorias, pero redirigir en las intersecciones para asegurar la causalidad.

Un aspecto distintivo del flujo rectificado es su capacidad de " reflujo ", que endereza la trayectoria de las rutas de las EDO. Denotemos el flujo rectificado como $\phi ^{0}=\{\phi _{t}:t\in [0,1]\}$ inducido por $(x_{0},x_{1})$ como $\phi ^{0}={\mathsf {Rectflow}}((x_{0},x_{1}))$ . Aplicando recursivamente esto ${\mathsf {Rectflow}}(\cdot )$ El operador genera una serie de flujos rectificados. $\phi ^{k+1}={\mathsf {Rectflow}}((\phi _{0}^{k}(x_{0}),\phi _{1}^{k}(x_{1})))$ Este proceso de "reflujo" no solo reduce los costos de transporte, sino que también endereza las rutas de los flujos rectificados, lo que hace que... $\phi ^{k}$ caminos más rectos con aumento $k$ .

El flujo rectificado incluye una extensión no lineal donde la interpolación lineal $x_{t}$ se reemplaza con cualquier curva diferenciable en el tiempo que conecte $x_{0}$ y $x_{1}$ , dado por $x_{t}=\alpha _{t}x_{1}+\beta _{t}x_{0}$ Este marco abarca DDIM y EDO de flujo de probabilidad como casos especiales, con elecciones particulares de $\alpha _{t}$ y $\beta _{t}$ . Sin embargo, en el caso donde la trayectoria de $x_{t}$ no es recto, el proceso de reflujo ya no garantiza una reducción en los costos de transporte convexos, y tampoco endereza ya las trayectorias de $\phi _{t}$ . ^{[ 42 ]}

Estas formulaciones de flujo lineal se descubrieron de forma independiente y se adaptaron desde una perspectiva diferente para problemas inversos supervisados. Por ejemplo, la Inversión por Iteración Directa (InDI) formula la restauración de imágenes aprendiendo una EDO de flujo residual que invierte iterativamente una interpolación lineal entre una entrada degradada y un objetivo de alta calidad para evitar la regresión a la media. InDI es eficaz para diversas tareas de restauración de imágenes. ^{[ 44 ]}

Elección de la arquitectura

Modelo de difusión

Para generar imágenes mediante DDPM, necesitamos una red neuronal que requiera tiempo. $t$ y una imagen ruidosa $x_{t}$ y predice un ruido $\epsilon _{\theta }(x_{t},t)$ de ello. Dado que predecir el ruido es lo mismo que predecir la imagen sin ruido, entonces restarlo de $x_{t}$ Las arquitecturas de eliminación de ruido tienden a funcionar bien. Por ejemplo, la U-Net , que ha demostrado ser eficaz para eliminar el ruido de las imágenes, se utiliza a menudo para eliminar el ruido de los modelos de difusión que generan imágenes. ^{[ 45 ]}

Para DDPM, la arquitectura subyacente ("columna vertebral") no tiene por qué ser una U-Net. Simplemente tiene que predecir el ruido de alguna manera. Por ejemplo, el transformador de difusión (DiT) utiliza un Transformer para predecir la media y la covarianza diagonal del ruido, dado el condicionamiento textual y la imagen parcialmente sin ruido. Es lo mismo que el modelo de difusión de eliminación de ruido estándar basado en U-Net, con un Transformer que reemplaza a la U-Net. ^{[ 46 ]} También se puede aplicar un Transformer de mezcla de expertos . ^{[ 47 ]}

DDPM se puede utilizar para modelar distribuciones de datos generales, no solo imágenes de aspecto natural. Por ejemplo, Human Motion Diffusion ^{[ 48 ]} modela la trayectoria del movimiento humano mediante DDPM. Cada trayectoria de movimiento humano es una secuencia de poses, representadas por rotaciones o posiciones de las articulaciones. Utiliza una red Transformer para generar una trayectoria con menos ruido a partir de una con mucho ruido.

Acondicionamiento

El modelo de difusión básico solo puede generar imágenes de forma incondicional a partir de toda la distribución. Por ejemplo, un modelo de difusión entrenado con ImageNet generaría imágenes que se asemejan a una imagen aleatoria de ImageNet. Para generar imágenes de una sola categoría, sería necesario imponer una condición y luego muestrear a partir de la distribución condicional. Cualquiera que sea la condición que se desee imponer, primero se debe convertir el condicionamiento en un vector de números de coma flotante y luego introducirlo en la red neuronal del modelo de difusión subyacente. Sin embargo, existe libertad para elegir cómo convertir el condicionamiento en un vector.

Por ejemplo, la difusión estable impone un condicionamiento en forma de mecanismo de atención cruzada , donde la consulta es una representación intermedia de la imagen en la U-Net, y tanto la clave como el valor son los vectores de condicionamiento. El condicionamiento se puede aplicar selectivamente solo a partes de una imagen, y se pueden ajustar nuevos tipos de condicionamientos sobre el modelo base, como se usa en ControlNet. ^{[ 49 ]}

Como ejemplo particularmente sencillo, consideremos el relleno de imágenes . Las condiciones son: ${\tilde {x}}$ , la imagen de referencia y $m$ , la máscara de relleno . El condicionamiento se impone en cada paso del proceso de difusión hacia atrás, mediante el muestreo inicial. ${\tilde {x}}_{t}\sim N\left({\sqrt {{\bar {\alpha }}_{t}}}{\tilde {x}},\sigma _{t}^{2}I\right)$ , una versión ruidosa de ${\tilde {x}}$ luego reemplazando $x_{t}$ con $(1-m)\odot x_{t}+m\odot {\tilde {x}}_{t}$ , dónde $\odot$ significa multiplicación elemento a elemento . ^{[ 50 ]} Otra aplicación del mecanismo de atención cruzada es la edición de imágenes de indicación a indicación. ^{[ 51 ]}

El condicionamiento no se limita a generar imágenes de una categoría específica o según un pie de foto específico (como en la conversión de texto a imagen). Por ejemplo, ^{[ 48 ]} demostró la generación de movimiento humano condicionado a un clip de audio de una persona caminando (lo que permite sincronizar el movimiento con una banda sonora), o a un vídeo de una persona corriendo, o a una descripción textual del movimiento humano, etc. Para conocer la formulación matemática de los modelos de difusión condicional, véase el resumen metodológico en ^{[ 52 ] .}

Ampliación de escala

Como generar una imagen lleva mucho tiempo, se puede intentar generar una imagen pequeña mediante un modelo de difusión base y luego ampliarla con otros modelos. La ampliación se puede realizar mediante GAN , ^{[ 53 ]} Transformer , ^{[ 54 ]} o métodos de procesamiento de señales como el remuestreo de Lanczos .

Los propios modelos de difusión pueden utilizarse para realizar el escalado ascendente. El modelo de difusión en cascada apila varios modelos de difusión uno tras otro, al estilo de las GAN progresivas . El nivel más bajo es un modelo de difusión estándar que genera una imagen de 32x32 píxeles; a continuación, la imagen se escala mediante un modelo de difusión entrenado específicamente para el escalado ascendente, y el proceso se repite. ^{[ 45 ]}

En más detalle, el escalador de difusión se entrena de la siguiente manera: ^{[ 45 ]}

Muestra $(x_{0},z_{0},c)$ , dónde $x_{0}$ es la imagen de alta resolución, $z_{0}$ es la misma imagen pero reducida a una resolución baja, y $c$ es el condicionamiento, que puede ser el pie de foto de la imagen, la clase de la imagen, etc.
Muestra de dos ruidos blancos $\epsilon _{x},\epsilon _{z}$ , dos pasos de tiempo $t_{x},t_{z}$ Calcula las versiones con ruido de las imágenes de alta y baja resolución: ${\begin{cases}x_{t_{x}}&={\sqrt {{\bar {\alpha }}_{t_{x}}}}x_{0}+\sigma _{t_{x}}\epsilon _{x}\\z_{t_{z}}&={\sqrt {{\bar {\alpha }}_{t_{z}}}}z_{0}+\sigma _{t_{z}}\epsilon _{z}\end{cases}}$ .
Entrenar la red de eliminación de ruido para predecir $\epsilon _{x}$ dado $x_{t_{x}},z_{t_{z}},t_{x},t_{z},c$ . Es decir, aplicar el descenso de gradiente en $\theta$ en la pérdida L2 $\|\epsilon _{\theta }(x_{t_{x}},z_{t_{z}},t_{x},t_{z},c)-\epsilon _{x}\|_{2}^{2}$ .

Ejemplos

Esta sección recopila algunos modelos de difusión destacados y describe brevemente su arquitectura.

OpenAI

La serie DALL-E de OpenAI son modelos de difusión de imágenes condicionados al texto.

La primera versión de DALL-E (2021) no es propiamente un modelo de difusión. En cambio, utiliza una arquitectura Transformer que genera de forma autorregresiva una secuencia de tokens, la cual es convertida posteriormente en una imagen por el decodificador de un VAE discreto. Junto con DALL-E se lanzó el clasificador CLIP, que se utilizaba para clasificar las imágenes generadas según su grado de coincidencia con el texto.

GLIDE (2022–03) ^{[ 55 ]} es un modelo de difusión de 3.5 mil millones, y se publicó una versión pequeña. ^{[ 5 ]} Poco después, se publicó DALL-E 2 (2022–04). ^{[ 56 ]} DALL-E 2 es un modelo de difusión en cascada de 3.5 mil millones que genera imágenes a partir de texto "invirtiendo el codificador de imágenes CLIP", técnica que denominaron "unCLIP".

El método unCLIP consta de cuatro modelos: un codificador de imágenes CLIP, un codificador de texto CLIP, un decodificador de imágenes y un modelo previo (que puede ser un modelo de difusión o un modelo autorregresivo). Durante el entrenamiento, el modelo previo se entrena para convertir las codificaciones de imágenes CLIP en codificaciones de texto CLIP. El decodificador de imágenes se entrena para convertir las codificaciones de imágenes CLIP de nuevo en imágenes. Durante la inferencia, el codificador de texto CLIP convierte un texto en un vector, luego el modelo previo lo convierte en una codificación de imagen y, finalmente, el decodificador de imágenes lo convierte en una imagen.

Sora (2024–02) es un modelo Transformer de difusión (DiT).

Lightricks

LTX es una familia de modelos de base de video de inteligencia artificial de código abierto desarrollados por Lightricks , lanzados por primera vez en noviembre de 2024. ^[⁵⁷^] Los modelos más recientes, LTX-2, crean videos basados en indicaciones del usuario , condicionadas por texto, imágenes, video o audio, y capaces de generar audio y video de manera unificada. ^[⁵⁸^]^[⁵⁹^] Fueron precedidos por LTX Video, que se lanzó en 2024 como el primer modelo de texto a video de la compañía.

IA de estabilidad

Stable Diffusion (2022–08), publicado por Stability AI, consta de un modelo de difusión latente de eliminación de ruido (860 millones de parámetros), un VAE y un codificador de texto. La red de eliminación de ruido es una U-Net, con bloques de atención cruzada para permitir la generación condicional de imágenes. ^{[ 60 ]}^{[ 23 ]}

Stable Diffusion 3 (2024–03) ^{[ 61 ]} cambió el modelo de difusión latente de UNet a un modelo Transformer, por lo que es un DiT. Utiliza flujo rectificado.

Stable Video 4D (2024–07) ^{[ 62 ]} es un modelo de difusión latente para vídeos de objetos 3D.

Google

Imagen (2022) ^{[ 63 ]}^{[ 64 ]} utiliza un modelo de lenguaje T5-XXL para codificar el texto de entrada en un vector de incrustación. Es un modelo de difusión en cascada con tres submodelos. El primer paso elimina el ruido blanco en una imagen de 64×64, condicionado al vector de incrustación del texto. Este modelo tiene 2B parámetros. El segundo paso amplía la imagen de 64×64→256×256, condicionado a la incrustación. Este modelo tiene 650M parámetros. El tercer paso es similar, ampliando de 256×256→1024×1024. Este modelo tiene 400M parámetros. Las tres redes de eliminación de ruido son todas U-Nets.

Muse (2023–01) ^{[ 65 ]} no es un modelo de difusión, sino un Transformer solo con codificador que está entrenado para predecir tokens de imágenes enmascaradas a partir de tokens de imágenes sin enmascarar.

Imagen 2 (2023–12) también se basa en la difusión. Puede generar imágenes a partir de una indicación que combina imágenes y texto. No hay más información disponible. ^{[ 66 ]} Imagen 3 (2024–05) también. No hay más información disponible. ^{[ 67 ]}

Veo (2024) genera vídeos mediante difusión latente. La difusión está condicionada a un vector que codifica tanto una indicación de texto como una indicación de imagen. ^{[ 68 ]}

Véase también

Lecturas adicionales

Artículos de revisión
- Yang, Ling (2024-09-06), YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy , consultado el 2024-09-06
- Yang, Ling; Zhang, Zhilong; Canción, Yang; Hong, Shenda; Xu, Runsheng; Zhao, Yue; Zhang, Wentao; Cui, Bin; Yang, Ming-Hsuan (9 de noviembre de 2023). "Modelos de difusión: un estudio completo de métodos y aplicaciones" . Computación ACM. Sobrevivir . 56 (4): 105:1–105:39. arXiv : 2209.00796 . doi : 10.1145/3626235 . ISSN 0360-0300 .
- Austin, Jacob; Johnson, Daniel D.; Ho, Jonathan; Tarlow, Daniel; Rianne van den Berg (2021). "Modelos de difusión de eliminación de ruido estructurados en espacios de estados discretos". arXiv : 2107.03006 [ cs.LG ].
- Croitoru, Florinel-Alin; Hondru, Vlad; Ionescu, Radu Tudor; Shah, Mubarak (1 de septiembre de 2023). "Modelos de difusión en visión: una encuesta". Transacciones IEEE sobre análisis de patrones e inteligencia artificial . 45 (9): 10850–10869 . arXiv : 2209.04747 . Código Bib : 2023ITPAM..4510850C . doi : 10.1109/TPAMI.2023.3261988 . ISSN 0162-8828 . PMID 37030794 .
En el artículo se omiten detalles matemáticos.
- "El poder de los modelos de difusión" . AstraBlog . 25 de septiembre de 2022. Consultado el 25 de septiembre de 2023 .
- Luo, Calvin (25 de agosto de 2022). "Comprensión de los modelos de difusión: una perspectiva unificada". arXiv : 2208.11970 [ cs.LG ].
- Weng, Lilian (11 de julio de 2021). "¿Qué son los modelos de difusión?" . lilianweng.github.io . Consultado el 25 de septiembre de 2023 .
Tutoriales
- Nakkiran, Preetum; Bradley, Arwen; Zhou, Hattie; Advani, Madhu (2024). "Difusión paso a paso: un tutorial elemental". arXiv : 2406.08929 [ cs.LG ].
- "Guía: un código de trucos para modelos de difusión" . 26 de mayo de 2022.Descripción general de la guía de clasificación y la guía sin clasificación, con pocos detalles matemáticos.
- Catherine Higham, Desmond J. Higham y Peter Grindrod: "Modelos de difusión para inteligencia artificial generativa: una introducción para matemáticos aplicados", SIAM Review, vol. 67, n.º 3 (2025).

Referencias

1 2 3 4 Canción, Yang; Sohl-Dickstein, Jascha; Kingma, Diederik P.; Kumar, Abhishek; Ermón, Stefano; Poole, Ben (10 de febrero de 2021). "Modelado generativo basado en puntuaciones mediante ecuaciones diferenciales estocásticas". arXiv : 2011.13456 [ cs.LG ].
^ Croitoru, Florinel-Alin; Hondru, Vlad; Ionescu, Radu Tudor; Shah, Mubarak (2023). "Modelos de difusión en visión: una encuesta". Transacciones IEEE sobre análisis de patrones e inteligencia artificial . 45 (9): 10850–10869 . arXiv : 2209.04747 . Código Bib : 2023ITPAM..4510850C . doi : 10.1109/TPAMI.2023.3261988 . PMID 37030794 . S2CID 252199918 .
1 2 Ho, Jonathan; Jain, Ajay; Abbeel, Pieter (2020). "Modelos probabilísticos de difusión con eliminación de ruido" . Avances en sistemas de procesamiento de información neuronal . 33. Curran Associates, Inc.: 6840–6851 .
^ Gu, Shuyang; Chen, Dong; Bao, Jianmin; Wen, colmillo; Zhang, Bo; Chen, Dongdong; Yuan, Lu; Guo, Baining (2021). "Modelo de difusión cuantificada vectorial para síntesis de texto a imagen". arXiv : 2111.14822 [ cs.CV ].
1 2 GLIDE , OpenAI, 22/09/2023 , consultado el 24/09/2023
↑ Li, Yifan; Zhou, Kun; Zhao, Wayne Xin; Wen, Ji-Rong (agosto de 2023). «Modelos de difusión para la generación de texto no autorregresivo: una revisión» . Actas de la Trigésimo Segunda Conferencia Internacional Conjunta sobre Inteligencia Artificial. California: International Joint Conferences on Artificial Intelligence Organization. págs. 6692–6701 . arXiv : 2303.06574 . doi : 10.24963/ijcai.2023/750 . ISBN 978-1-956792-03-4.
↑ Xu, Weijie; Hu, Wenxiang; Wu, Fanyou; Sengamedu, Srinivasan (2023). "DeTiME: Diffusion-Enhanced Topic Modeling using Encoder-decoder based LLM" . Hallazgos de la Asociación para la Lingüística Computacional: EMNLP 2023. Stroudsburg, PA, EE. UU.: Asociación para la Lingüística Computacional: 9040–9057 . arXiv : 2310.15296 . doi : 10.18653 /v1/2023.findings-emnlp.606 .
↑ Zhang, Haopeng; Liu, Xiao; Zhang, Jiawei (2023). "DiffuSum: Generación mejorada de resumen extractivo con difusión" . Hallazgos de la Asociación para la Lingüística Computacional: ACL 2023. Stroudsburg, PA, EE. UU.: Asociación para la Lingüística Computacional: 13089–13100 . arXiv : 2305.01735 . doi : 10.18653/v1/2023.findings-acl.828 .
↑ Yang, Dongchao; Yu, Jianwei; Wang, Helin; Wang, Wen; Weng, Chao; Zou, Yuexian; Yu, Dong (2023). "Diffsound: Discrete Diffusion Model for Text-to-Sound Generation" . IEEE/ACM Transactions on Audio, Speech, and Language Processing . 31 : 1720–1733 . arXiv : 2207.09983 . Bibcode : 2023ITASL..31.1720Y . doi : 10.1109/taslp.2023.3268730 . ISSN 2329-9290 .
↑ Janner, Michael; Du, Yilun; Tenenbaum, Joshua B.; Levine, Sergey (2022-12-20). "Planificación con difusión para la síntesis de comportamiento flexible". arXiv : 2205.09991 [ cs.LG ].
^ Chi, Cheng; Xu, Zhenjia; Feng, Siyuan; Cousineau, Eric; Du, Yilun; Burchfiel, Benjamín; Tedrake, Russ; Canción, Shuran (14 de marzo de 2024). "Política de difusión: aprendizaje de políticas visomotoras a través de la difusión de la acción". arXiv : 2303.04137 [ cs.RO ].
↑ Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (2015-06-01). "Aprendizaje profundo no supervisado utilizando termodinámica de no equilibrio" (PDF) . Actas de la 32.ª Conferencia Internacional sobre Aprendizaje Automático . 37. PMLR: 2256–2265 . arXiv : 1503.03585 .
^ Ho, Jonathan (20 de junio de 2020), hojonathanho/diffusion , consultado el 7 de septiembre de 2024
1 2 Weng, Lilian (11 de julio de 2021). "¿Qué son los modelos de difusión?" . lilianweng.github.io . Consultado el 24 de septiembre de 2023 .
↑ "Modelado generativo mediante la estimación de gradientes de la distribución de datos | Yang Song" . yang-song.net . Consultado el 24 de septiembre de 2023 .
1 2 Song, Yang; Ermon, Stefano (2019). "Modelado generativo mediante la estimación de gradientes de la distribución de datos" . Advances in Neural Information Processing Systems . 32. Curran Associates, Inc. arXiv : 1907.05600 .
^ Canción, Yang; Sohl-Dickstein, Jascha; Kingma, Diederik P.; Kumar, Abhishek; Ermón, Stefano; Poole, Ben (10 de febrero de 2021). "Modelado generativo basado en puntuaciones mediante ecuaciones diferenciales estocásticas". arXiv : 2011.13456 [ cs.LG ].
↑ ermongroup/ncsn , ermongroup, 2019 , consultado el 7 de septiembre de 2024
↑ "Sliced Score Matching: A Scalable Approach to Density and Score Estimation | Yang Song" . yang-song.net . Consultado el 24 de septiembre de 2023 .
↑ Anderson, Brian DO (mayo de 1982). "Modelos de ecuaciones de difusión en tiempo inverso" . Procesos estocásticos y sus aplicaciones . 12 (3): 313– 326. doi : 10.1016/0304-4149(82)90051-5 . ISSN 0304-4149 .
↑ Luo, Calvin (2022). "Understanding Diffusion Models: A Unified Perspective". arXiv : 2208.11970v1 [ cs.LG ].
↑ Song, Jiaming; Meng, Chenlin; Ermon, Stefano (3 de octubre de 2023). "Denoising Diffusion Implicit Models". arXiv : 2010.02502 [ cs.LG ].
^ Rombach , Robin; Blattmann, Andreas; Lorenz, Dominik; Esser, Patricio; Ommer, Björn (13 de abril de 2022). "Síntesis de imágenes de alta resolución con modelos de difusión latente". arXiv : 2112.10752 [ cs.CV ].
↑ Nichol, Alexander Quinn; Dhariwal, Prafulla (1 de julio de 2021). "Modelos probabilísticos de difusión con eliminación de ruido mejorados" . Actas de la 38.ª Conferencia Internacional sobre Aprendizaje Automático . PMLR: 8162–8171 .
↑ Salimans, Tim; Ho, Jonathan (06-10-2021). Destilación progresiva para el muestreo rápido de modelos de difusión . Décima Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR 2022).
↑ Lin, Shanchuan; Liu, Bingchen; Li, Jiashi; Yang, Xiao (2024). Los esquemas comunes de ruido de difusión y los pasos de muestreo son defectuosos . Conferencia de invierno IEEE/CVF sobre aplicaciones de visión por computadora (WACV). págs. 5404–5411 .
^ Dhariwal , Prafulla ; Nichol, Alex (1 de junio de 2021). "Los modelos de difusión superan a las GAN en síntesis de imágenes". arXiv : 2105.05233 [ cs.LG ].
1 2 Ho, Jonathan; Salimans, Tim (2022-07-25). "Guía de difusión sin clasificadores". arXiv : 2207.12598 [ cs.LG ].
↑ Chung, Hyungjin; Kim, Jeongsol; Park, Geon Yeong; Nam, Hyelin; Ye, Jong Chul (2024-06-12). "CFG++: Guía sin clasificador con restricciones de variedad para modelos de difusión". arXiv : 2406.08070 [ cs.CV ].
↑ Sanchez, Guillaume; Fan, Honglu; Spangher, Alexander; Levi, Elad; Ammanamanchi, Pawan Sasanka; Biderman, Stella (30 de junio de 2023). "Manténgase en el tema con la guía sin clasificadores". arXiv : 2306.17806 [ cs.CL ].
↑ Armandpour, Mohammadreza; Sadeghian, Ali; Zheng, Huangjie; Sadeghian, Amir; Zhou, Mingyuan (26 de abril de 2023). "Reimaginar el algoritmo de aviso negativo: transformar la difusión 2D en 3D, aliviar el problema de Janus y más allá". arXiv : 2304.04968 [ cs.CV ].
↑ Yang, Ling; Zhang, Zhilong; Canción, Yang; Hong, Shenda; Xu, Runsheng; Zhao, Yue; Zhang, Wentao; Cui, Bin; Yang, Ming-Hsuan (2022). "Modelos de difusión: un estudio completo de métodos y aplicaciones". arXiv : 2206.00364 [ cs.CV ].
↑ Shi, Jiaxin; Han, Kehang; Wang, Zhe; Doucet, Arnaud; Titsias, Michalis K. (2024). "Difusión enmascarada simplificada y generalizada para datos discretos". arXiv : 2406.04329 [ cs.LG ].
↑ Karras, Tero; Aittala, Miika; Aila, Timo; Laine, Samuli (2022). "Aclarar el espacio de diseño de modelos generativos basados en difusión". arXiv : 2206.00364v2 [ cs.CV ].
^ Cao, Hanqun; Tan, Cheng; Gao, Zhangyang; Xu, Yilun; Chen, Guangyong; Heng, Pheng-Ann; Li, Stan Z. (julio de 2024). "Una encuesta sobre modelos de difusión generativa". Transacciones IEEE sobre conocimiento e ingeniería de datos . 36 (7): 2814– 2830. Código bibliográfico : 2024ITKDE..36.2814C . doi : 10.1109/TKDE.2024.3361474 . ISSN 1041-4347 .
↑ Xu, Yilun; Liu, Ziming; Tian, Yonglong; Tong, Shangyuan; Tegmark, Max; Jaakkola, Tommi (2023-07-03). "PFGM++: Desbloqueando el potencial de los modelos generativos inspirados en la física" . Actas de la 40.ª Conferencia Internacional sobre Aprendizaje Automático . PMLR: 38566–38591 . arXiv : 2302.04265 .
↑ Song, Yang; Dhariwal, Prafulla; Chen, Mark; Sutskever, Ilya (2023-07-03). "Modelos de consistencia" . Actas de la 40.ª Conferencia Internacional sobre Aprendizaje Automático . PMLR: 32211–32252 .
↑ Dockhorn, Tim; Vahdat, Arash; Kreis, Karsten (2021-10-06). "Modelado generativo basado en puntuación con difusión de Langevin críticamente amortiguada". arXiv : 2112.07068 [ stat.ML ].
↑ Liu, Ziming; Luo, Di; Xu, Yilun; Jaakkola, Tommi; Tegmark, Max (2023-04-05). "GenPhys: De los procesos físicos a los modelos generativos". arXiv : 2304.02637 [ cs.LG ].
↑ Bansal, Arpit; Borgnia, Eitan; Chu, Hong-Min; Li, Jie; Kazemi, Hamid; Huang, Furong; Goldblum, Micah; Geiping, Jonas; Goldstein, Tom (2023-12-15). "Difusión fría: inversión de transformaciones de imágenes arbitrarias sin ruido" . Advances in Neural Information Processing Systems . 36 : 41259–41282 . arXiv : 2208.09392 .
↑ Tong, Alexander; Fatras, Kilian; Malkin, Nikolay; Huguet, Guillaume; Zhang, Yanlei; Rector-Brooks, Jarrid; Wolf, Guy; Bengio, Yoshua (2023-11-08). "Mejora y generalización de modelos generativos basados en flujo con transporte óptimo de minilotes" . Transactions on Machine Learning Research . arXiv : 2302.00482 . ISSN 2835-8856 .
1 2 3 4 Liu, Xingchao; Gong, Chengyue; Liu, Qiang (2022-09-07). "Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow". arXiv : 2209.03003 [ cs.LG ].
↑ Liu, Qiang (2022-09-29). "Flujo rectificado: un enfoque de preservación marginal para el transporte óptimo". arXiv : 2209.14577 [ stat.ML ].
↑ Delbracio, Mauricio; Milanfar, Peyman (2023). "Inversión por iteración directa: una alternativa a la difusión de eliminación de ruido para la restauración de imágenes" . Transactions on Machine Learning Research .
1 2 3 Ho, Jonathan; Saharia, Chitwan; Chan, William; Fleet, David J.; Norouzi, Mohammad; Salimans, Tim (2022-01-01). "Modelos de difusión en cascada para la generación de imágenes de alta fidelidad" . The Journal of Machine Learning Research . 23 (1): 47:2249–47:2281. arXiv : 2106.15282 . ISSN 1532-4435 .
↑ Peebles, William; Xie, Saining (marzo de 2023). "Modelos de difusión escalables con transformadores". arXiv : 2212.09748v2 [ cs.CV ].
^ Fei, Zhengcong; Fan, Mingyuan; Yu, Changqian; Li, Debang; Huang, Junshi (16 de julio de 2024). "Ampliación de transformadores de difusión a 16 mil millones de parámetros". arXiv : 2407.11633 [ cs.CV ].
^ Tevet , chico; Raab, Sigal; Gordon, Brian; Shafir, Yonatan; Cohen-Or, Daniel; Bermano, Amit H. (2022). "Modelo de difusión del movimiento humano". arXiv : 2209.14916 [ cs.CV ].
↑ Zhang, Lvmin; Rao, Anyi; Agrawala, Maneesh (2023). "Adding Conditional Control to Text-to-Image Diffusion Models". arXiv : 2302.05543 [ cs.CV ].
↑ Lugmayr, Andreas; Danelljan, Martin; Romero, Andres; Yu, Fisher; Timofte, Radu; Van Gool, Luc (2022). "RePaint: Inpainting Using Denoising Diffusion Probabilistic Models". arXiv : 2201.09865v4 [ cs.CV ].
↑ Hertz, Amir; Mokady, Ron; Tenenbaum, Jay; Aberman, Kfir; Pritch, Yael; Cohen-Or, Daniel (2022-08-02). "Edición de imágenes de indicación a indicación con control de atención cruzada". arXiv : 2208.01626 [ cs.CV ].
↑ Zhao, Zheng; Luo, Ziwei; Sjölund, Jens; Schön, Thomas (19 de junio de 2025). "Muestreo condicional dentro de modelos de difusión generativos" . Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences . 383 (2299). doi : 10.1098/rsta.2024.0329 . ISSN 1364-503X . PMC 12177524 .
↑ Wang, Xintao; Xie, Liangbin; Dong, Chao; Shan, Ying (2021). "Real-ESRGAN: Entrenamiento de superresolución ciega del mundo real con datos sintéticos puros" (PDF) . Actas de los talleres de la Conferencia Internacional IEEE/CVF sobre Visión por Computadora (ICCV), 2021. Conferencia Internacional sobre Visión por Computadora. págs. 1905–1914 . arXiv : 2107.10833 .
↑ Liang, Jingyun; Cao, Jiezhang; Sun, Guolei; Zhang, Kai; Van Gool, Luc; Timofte, Radu (2021). "SwinIR: Restauración de imágenes mediante Swin Transformer" (PDF) . Actas de los talleres de la Conferencia Internacional IEEE/CVF sobre Visión por Computadora (ICCV) . Conferencia Internacional sobre Visión por Computadora, 2021. pp. 1833–1844 . arXiv : 2108.10257v1 .
↑ Nichol, Alex; Dhariwal, Prafulla; Ramesh, Aditya; Shyam, Pranav; Mishkin, Pamela; McGrew, Bob; Sutskever, Ilya; Chen, Mark (2022-03-08). "GLIDE: Hacia la generación y edición de imágenes fotorrealistas con modelos de difusión guiados por texto". arXiv : 2112.10741 [ cs.CV ].
↑ Ramesh, Aditya; Dhariwal, Prafulla; Nichol, Alex; Chu, Casey; Chen, Mark (2022-04-12). "Generación jerárquica de imágenes condicionales de texto con latentes CLIP". arXiv : 2204.06125 [ cs.CV ].
↑ "Lightricks desafía a los gigantes de la IA con una plataforma de código abierto de texto a vídeo" . ctech . 22 de noviembre de 2024. Consultado el 23 de abril de 2026 .
↑ Kemper, Jonathan (11 de enero de 2026). "Lightricks publica como código abierto el modelo de vídeo de IA LTX-2 y desafía a Sora y Veo" . The Decoder . Consultado el 23 de abril de 2026 .
↑ Lightricks. "Lightricks lanza LTX-2: el primer modelo completo de base de vídeo con IA de código abierto" . www.prnewswire.com . Consultado el 23 de abril de 2026 .
↑ Alammar, Jay. "La difusión estable ilustrada" . jalammar.github.io . Consultado el 31 de octubre de 2022 .
↑ Esser, Patrick; Kulal, Sumith; Blattmann, Andreas; Entezari, Rahim; Müller, Jonas; Saini, Harry; Levi, Yam; Lorenz, Dominik; Sauer, Axel (2024-03-05). "Escalado de transformadores de flujo rectificados para síntesis de imágenes de alta resolución". arXiv : 2403.03206 [ cs.CV ].
↑ Xie, Yiming; Yao, Chun-Han; Voleti, Vikram; Jiang, Huaizu; Jampani, Varun (2024-07-24). "SV4D: Generación dinámica de contenido 3D con consistencia de múltiples fotogramas y múltiples vistas". arXiv : 2407.17470 [ cs.CV ].
↑ "Imagen: Modelos de difusión de texto a imagen" . imagen.research.google . Consultado el 4 de abril de 2024 .
↑ Saharia, Chitwan; Chan, William; Saxena, Saurabh; Li, Lala; Whang, Jay; Denton, Emily L.; Ghasemipour, Kamyar; Gontijo Lopes, Raphael; Karagol Ayan, Burcu; Salimans, Tim; Ho, Jonathan; Fleet, David J.; Norouzi, Mohammad (2022-12-06). "Modelos de difusión fotorrealistas de texto a imagen con comprensión profunda del lenguaje" . Advances in Neural Information Processing Systems . 35 : 36479–36494 . arXiv : 2205.11487 .
↑ Chang, Huiwen; Zhang, Han; Barber, Jarred; Maschinot, AJ; Lezama, Jose; Jiang, Lu; Yang, Ming-Hsuan; Murphy, Kevin; Freeman, William T. (2023-01-02). "Muse: Generación de texto a imagen mediante transformadores generativos enmascarados". arXiv : 2301.00704 [ cs.CV ].
↑ "Imagen 2: nuestra tecnología de conversión de texto a imagen más avanzada" . Google DeepMind . Consultado el 4 de abril de 2024 .
↑ Imagen-Equipo-Google; Baldridge, Jason; Bauer, Jakob; Bután, Mukul; Brichtova, Nicole; Bunner, Andrés; Castrejón, Lluís; Chan, Kelvin; Chen, Yichang (13 de diciembre de 2024), Imagen 3 , arXiv : 2408.07009{{citation}}: |last1=tiene nombre genérico ( ayuda )
↑ "Veo" . Google DeepMind . 14 de mayo de 2024. Consultado el 17 de mayo de 2024 .
↑ "Presentamos Make-A-Video: un sistema de IA que genera vídeos a partir de texto" . ai.meta.com . Consultado el 20 de septiembre de 2024 .
↑ Singer, Uriel; Polyak, Adam; Hayes, Thomas; Yin, Xi; An, Jie; Zhang, Songyang; Hu, Qiyuan; Yang, Harry; Ashual, Oron (2022-09-29). "Make-A-Video: Generación de texto a vídeo sin datos de texto a vídeo". arXiv : 2209.14792 [ cs.CV ].
↑ "Presentamos CM3leon, un modelo generativo más eficiente y de última generación para texto e imágenes" . ai.meta.com . Consultado el 20 de septiembre de 2024 .
↑ Equipo Chameleon (16 de mayo de 2024). "Chameleon: Modelos de fundación de fusión temprana de modo mixto". arXiv : 2405.09818 [ cs.CL ].
^ Zhou, Chunting; Yu, Lili; Babú, Arun; Tirumala, Kushal; Yasunaga, Michihiro; Shamis, Leonidas; Kahn, Jacob; Mamá, Xuezhe; Zettlemoyer, Luke (20 de agosto de 2024). "Transfusión: predecir el siguiente token y difundir imágenes con un modelo multimodal". arXiv : 2408.11039 [ cs.AI ].
↑ Movie Gen: Un elenco de modelos de Media Foundation , El equipo de Movie Gen @ Meta, 4 de octubre de 2024.

[song-1] 1 2 3 4 Canción, Yang; Sohl-Dickstein, Jascha; Kingma, Diederik P.; Kumar, Abhishek; Ermón, Stefano; Poole, Ben (10 de febrero de 2021). "Modelado generativo basado en puntuaciones mediante ecuaciones diferenciales estocásticas". arXiv : 2011.13456 [ cs.LG ].

[2] Croitoru, Florinel-Alin; Hondru, Vlad; Ionescu, Radu Tudor; Shah, Mubarak (2023). "Modelos de difusión en visión: una encuesta". Transacciones IEEE sobre análisis de patrones e inteligencia artificial . 45 (9): 10850–10869 . arXiv : 2209.04747 . Código Bib : 2023ITPAM..4510850C . doi : 10.1109/TPAMI.2023.3261988 . PMID 37030794 . S2CID 252199918 .

[ho-3] 1 2 Ho, Jonathan; Jain, Ajay; Abbeel, Pieter (2020). "Modelos probabilísticos de difusión con eliminación de ruido" . Avances en sistemas de procesamiento de información neuronal . 33. Curran Associates, Inc.: 6840–6851 .

[gu-4] Gu, Shuyang; Chen, Dong; Bao, Jianmin; Wen, colmillo; Zhang, Bo; Chen, Dongdong; Yuan, Lu; Guo, Baining (2021). "Modelo de difusión cuantificada vectorial para síntesis de texto a imagen". arXiv : 2111.14822 [ cs.CV ].

[dalle2-5] 1 2 GLIDE , OpenAI, 22/09/2023 , consultado el 24/09/2023

[6] Li, Yifan; Zhou, Kun; Zhao, Wayne Xin; Wen, Ji-Rong (agosto de 2023). «Modelos de difusión para la generación de texto no autorregresivo: una revisión» . Actas de la Trigésimo Segunda Conferencia Internacional Conjunta sobre Inteligencia Artificial. California: International Joint Conferences on Artificial Intelligence Organization. págs. 6692–6701 . arXiv : 2303.06574 . doi : 10.24963/ijcai.2023/750 . ISBN 978-1-956792-03-4.

[7] Xu, Weijie; Hu, Wenxiang; Wu, Fanyou; Sengamedu, Srinivasan (2023). "DeTiME: Diffusion-Enhanced Topic Modeling using Encoder-decoder based LLM" . Hallazgos de la Asociación para la Lingüística Computacional: EMNLP 2023. Stroudsburg, PA, EE. UU.: Asociación para la Lingüística Computacional: 9040–9057 . arXiv : 2310.15296 . doi : 10.18653 /v1/2023.findings-emnlp.606 .

[8] Zhang, Haopeng; Liu, Xiao; Zhang, Jiawei (2023). "DiffuSum: Generación mejorada de resumen extractivo con difusión" . Hallazgos de la Asociación para la Lingüística Computacional: ACL 2023. Stroudsburg, PA, EE. UU.: Asociación para la Lingüística Computacional: 13089–13100 . arXiv : 2305.01735 . doi : 10.18653/v1/2023.findings-acl.828 .

[9] Yang, Dongchao; Yu, Jianwei; Wang, Helin; Wang, Wen; Weng, Chao; Zou, Yuexian; Yu, Dong (2023). "Diffsound: Discrete Diffusion Model for Text-to-Sound Generation" . IEEE/ACM Transactions on Audio, Speech, and Language Processing . 31 : 1720–1733 . arXiv : 2207.09983 . Bibcode : 2023ITASL..31.1720Y . doi : 10.1109/taslp.2023.3268730 . ISSN 2329-9290 .

[10] Janner, Michael; Du, Yilun; Tenenbaum, Joshua B.; Levine, Sergey (2022-12-20). "Planificación con difusión para la síntesis de comportamiento flexible". arXiv : 2205.09991 [ cs.LG ].

[11] Chi, Cheng; Xu, Zhenjia; Feng, Siyuan; Cousineau, Eric; Du, Yilun; Burchfiel, Benjamín; Tedrake, Russ; Canción, Shuran (14 de marzo de 2024). "Política de difusión: aprendizaje de políticas visomotoras a través de la difusión de la acción". arXiv : 2303.04137 [ cs.RO ].

[12] Sohl-Dickstein, Jascha; Weiss, Eric; Maheswaranathan, Niru; Ganguli, Surya (2015-06-01). "Aprendizaje profundo no supervisado utilizando termodinámica de no equilibrio" (PDF) . Actas de la 32.ª Conferencia Internacional sobre Aprendizaje Automático . 37. PMLR: 2256–2265 . arXiv : 1503.03585 .

[13] Ho, Jonathan (20 de junio de 2020), hojonathanho/diffusion , consultado el 7 de septiembre de 2024

[:7-14] 1 2 Weng, Lilian (11 de julio de 2021). "¿Qué son los modelos de difusión?" . lilianweng.github.io . Consultado el 24 de septiembre de 2023 .

[15] "Modelado generativo mediante la estimación de gradientes de la distribución de datos | Yang Song" . yang-song.net . Consultado el 24 de septiembre de 2023 .

[:9-16] 1 2 Song, Yang; Ermon, Stefano (2019). "Modelado generativo mediante la estimación de gradientes de la distribución de datos" . Advances in Neural Information Processing Systems . 32. Curran Associates, Inc. arXiv : 1907.05600 .

[:1-17] Canción, Yang; Sohl-Dickstein, Jascha; Kingma, Diederik P.; Kumar, Abhishek; Ermón, Stefano; Poole, Ben (10 de febrero de 2021). "Modelado generativo basado en puntuaciones mediante ecuaciones diferenciales estocásticas". arXiv : 2011.13456 [ cs.LG ].

[18] ermongroup/ncsn , ermongroup, 2019 , consultado el 7 de septiembre de 2024

[19] "Sliced Score Matching: A Scalable Approach to Density and Score Estimation | Yang Song" . yang-song.net . Consultado el 24 de septiembre de 2023 .

[20] Anderson, Brian DO (mayo de 1982). "Modelos de ecuaciones de difusión en tiempo inverso" . Procesos estocásticos y sus aplicaciones . 12 (3): 313– 326. doi : 10.1016/0304-4149(82)90051-5 . ISSN 0304-4149 .

[21] Luo, Calvin (2022). "Understanding Diffusion Models: A Unified Perspective". arXiv : 2208.11970v1 [ cs.LG ].

[22] Song, Jiaming; Meng, Chenlin; Ermon, Stefano (3 de octubre de 2023). "Denoising Diffusion Implicit Models". arXiv : 2010.02502 [ cs.LG ].

[:2-23] Rombach , Robin; Blattmann, Andreas; Lorenz, Dominik; Esser, Patricio; Ommer, Björn (13 de abril de 2022). "Síntesis de imágenes de alta resolución con modelos de difusión latente". arXiv : 2112.10752 [ cs.CV ].

[24] Nichol, Alexander Quinn; Dhariwal, Prafulla (1 de julio de 2021). "Modelos probabilísticos de difusión con eliminación de ruido mejorados" . Actas de la 38.ª Conferencia Internacional sobre Aprendizaje Automático . PMLR: 8162–8171 .

[25] Salimans, Tim; Ho, Jonathan (06-10-2021). Destilación progresiva para el muestreo rápido de modelos de difusión . Décima Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR 2022).

[:10-26] Lin, Shanchuan; Liu, Bingchen; Li, Jiashi; Yang, Xiao (2024). Los esquemas comunes de ruido de difusión y los pasos de muestreo son defectuosos . Conferencia de invierno IEEE/CVF sobre aplicaciones de visión por computadora (WACV). págs. 5404–5411 .

[:8-27] Dhariwal , Prafulla ; Nichol, Alex (1 de junio de 2021). "Los modelos de difusión superan a las GAN en síntesis de imágenes". arXiv : 2105.05233 [ cs.LG ].

[:5-28] 1 2 Ho, Jonathan; Salimans, Tim (2022-07-25). "Guía de difusión sin clasificadores". arXiv : 2207.12598 [ cs.LG ].

[29] Chung, Hyungjin; Kim, Jeongsol; Park, Geon Yeong; Nam, Hyelin; Ye, Jong Chul (2024-06-12). "CFG++: Guía sin clasificador con restricciones de variedad para modelos de difusión". arXiv : 2406.08070 [ cs.CV ].

[30] Sanchez, Guillaume; Fan, Honglu; Spangher, Alexander; Levi, Elad; Ammanamanchi, Pawan Sasanka; Biderman, Stella (30 de junio de 2023). "Manténgase en el tema con la guía sin clasificadores". arXiv : 2306.17806 [ cs.CL ].

[31] Armandpour, Mohammadreza; Sadeghian, Ali; Zheng, Huangjie; Sadeghian, Amir; Zhou, Mingyuan (26 de abril de 2023). "Reimaginar el algoritmo de aviso negativo: transformar la difusión 2D en 3D, aliviar el problema de Janus y más allá". arXiv : 2304.04968 [ cs.CV ].

[32] Yang, Ling; Zhang, Zhilong; Canción, Yang; Hong, Shenda; Xu, Runsheng; Zhao, Yue; Zhang, Wentao; Cui, Bin; Yang, Ming-Hsuan (2022). "Modelos de difusión: un estudio completo de métodos y aplicaciones". arXiv : 2206.00364 [ cs.CV ].

[33] Shi, Jiaxin; Han, Kehang; Wang, Zhe; Doucet, Arnaud; Titsias, Michalis K. (2024). "Difusión enmascarada simplificada y generalizada para datos discretos". arXiv : 2406.04329 [ cs.LG ].

[34] Karras, Tero; Aittala, Miika; Aila, Timo; Laine, Samuli (2022). "Aclarar el espacio de diseño de modelos generativos basados en difusión". arXiv : 2206.00364v2 [ cs.CV ].

[35] Cao, Hanqun; Tan, Cheng; Gao, Zhangyang; Xu, Yilun; Chen, Guangyong; Heng, Pheng-Ann; Li, Stan Z. (julio de 2024). "Una encuesta sobre modelos de difusión generativa". Transacciones IEEE sobre conocimiento e ingeniería de datos . 36 (7): 2814– 2830. Código bibliográfico : 2024ITKDE..36.2814C . doi : 10.1109/TKDE.2024.3361474 . ISSN 1041-4347 .

[36] Xu, Yilun; Liu, Ziming; Tian, Yonglong; Tong, Shangyuan; Tegmark, Max; Jaakkola, Tommi (2023-07-03). "PFGM++: Desbloqueando el potencial de los modelos generativos inspirados en la física" . Actas de la 40.ª Conferencia Internacional sobre Aprendizaje Automático . PMLR: 38566–38591 . arXiv : 2302.04265 .

[37] Song, Yang; Dhariwal, Prafulla; Chen, Mark; Sutskever, Ilya (2023-07-03). "Modelos de consistencia" . Actas de la 40.ª Conferencia Internacional sobre Aprendizaje Automático . PMLR: 32211–32252 .

[38] Dockhorn, Tim; Vahdat, Arash; Kreis, Karsten (2021-10-06). "Modelado generativo basado en puntuación con difusión de Langevin críticamente amortiguada". arXiv : 2112.07068 [ stat.ML ].

[39] Liu, Ziming; Luo, Di; Xu, Yilun; Jaakkola, Tommi; Tegmark, Max (2023-04-05). "GenPhys: De los procesos físicos a los modelos generativos". arXiv : 2304.02637 [ cs.LG ].

[40] Bansal, Arpit; Borgnia, Eitan; Chu, Hong-Min; Li, Jie; Kazemi, Hamid; Huang, Furong; Goldblum, Micah; Geiping, Jonas; Goldstein, Tom (2023-12-15). "Difusión fría: inversión de transformaciones de imágenes arbitrarias sin ruido" . Advances in Neural Information Processing Systems . 36 : 41259–41282 . arXiv : 2208.09392 .

[41] Tong, Alexander; Fatras, Kilian; Malkin, Nikolay; Huguet, Guillaume; Zhang, Yanlei; Rector-Brooks, Jarrid; Wolf, Guy; Bengio, Yoshua (2023-11-08). "Mejora y generalización de modelos generativos basados en flujo con transporte óptimo de minilotes" . Transactions on Machine Learning Research . arXiv : 2302.00482 . ISSN 2835-8856 .

[:0-42] 1 2 3 4 Liu, Xingchao; Gong, Chengyue; Liu, Qiang (2022-09-07). "Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow". arXiv : 2209.03003 [ cs.LG ].

[43] Liu, Qiang (2022-09-29). "Flujo rectificado: un enfoque de preservación marginal para el transporte óptimo". arXiv : 2209.14577 [ stat.ML ].

[44] Delbracio, Mauricio; Milanfar, Peyman (2023). "Inversión por iteración directa: una alternativa a la difusión de eliminación de ruido para la restauración de imágenes" . Transactions on Machine Learning Research .

[:3-45] 1 2 3 Ho, Jonathan; Saharia, Chitwan; Chan, William; Fleet, David J.; Norouzi, Mohammad; Salimans, Tim (2022-01-01). "Modelos de difusión en cascada para la generación de imágenes de alta fidelidad" . The Journal of Machine Learning Research . 23 (1): 47:2249–47:2281. arXiv : 2106.15282 . ISSN 1532-4435 .

[46] Peebles, William; Xie, Saining (marzo de 2023). "Modelos de difusión escalables con transformadores". arXiv : 2212.09748v2 [ cs.CV ].

[47] Fei, Zhengcong; Fan, Mingyuan; Yu, Changqian; Li, Debang; Huang, Junshi (16 de julio de 2024). "Ampliación de transformadores de difusión a 16 mil millones de parámetros". arXiv : 2407.11633 [ cs.CV ].

[:4-48] Tevet , chico; Raab, Sigal; Gordon, Brian; Shafir, Yonatan; Cohen-Or, Daniel; Bermano, Amit H. (2022). "Modelo de difusión del movimiento humano". arXiv : 2209.14916 [ cs.CV ].

[49] Zhang, Lvmin; Rao, Anyi; Agrawala, Maneesh (2023). "Adding Conditional Control to Text-to-Image Diffusion Models". arXiv : 2302.05543 [ cs.CV ].

[50] Lugmayr, Andreas; Danelljan, Martin; Romero, Andres; Yu, Fisher; Timofte, Radu; Van Gool, Luc (2022). "RePaint: Inpainting Using Denoising Diffusion Probabilistic Models". arXiv : 2201.09865v4 [ cs.CV ].

[51] Hertz, Amir; Mokady, Ron; Tenenbaum, Jay; Aberman, Kfir; Pritch, Yael; Cohen-Or, Daniel (2022-08-02). "Edición de imágenes de indicación a indicación con control de atención cruzada". arXiv : 2208.01626 [ cs.CV ].

[52] Zhao, Zheng; Luo, Ziwei; Sjölund, Jens; Schön, Thomas (19 de junio de 2025). "Muestreo condicional dentro de modelos de difusión generativos" . Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences . 383 (2299). doi : 10.1098/rsta.2024.0329 . ISSN 1364-503X . PMC 12177524 .

[53] Wang, Xintao; Xie, Liangbin; Dong, Chao; Shan, Ying (2021). "Real-ESRGAN: Entrenamiento de superresolución ciega del mundo real con datos sintéticos puros" (PDF) . Actas de los talleres de la Conferencia Internacional IEEE/CVF sobre Visión por Computadora (ICCV), 2021. Conferencia Internacional sobre Visión por Computadora. págs. 1905–1914 . arXiv : 2107.10833 .

[54] Liang, Jingyun; Cao, Jiezhang; Sun, Guolei; Zhang, Kai; Van Gool, Luc; Timofte, Radu (2021). "SwinIR: Restauración de imágenes mediante Swin Transformer" (PDF) . Actas de los talleres de la Conferencia Internacional IEEE/CVF sobre Visión por Computadora (ICCV) . Conferencia Internacional sobre Visión por Computadora, 2021. pp. 1833–1844 . arXiv : 2108.10257v1 .

[55] Nichol, Alex; Dhariwal, Prafulla; Ramesh, Aditya; Shyam, Pranav; Mishkin, Pamela; McGrew, Bob; Sutskever, Ilya; Chen, Mark (2022-03-08). "GLIDE: Hacia la generación y edición de imágenes fotorrealistas con modelos de difusión guiados por texto". arXiv : 2112.10741 [ cs.CV ].

[56] Ramesh, Aditya; Dhariwal, Prafulla; Nichol, Alex; Chu, Casey; Chen, Mark (2022-04-12). "Generación jerárquica de imágenes condicionales de texto con latentes CLIP". arXiv : 2204.06125 [ cs.CV ].

[57] "Lightricks desafía a los gigantes de la IA con una plataforma de código abierto de texto a vídeo" . ctech . 22 de noviembre de 2024. Consultado el 23 de abril de 2026 .

[58] Kemper, Jonathan (11 de enero de 2026). "Lightricks publica como código abierto el modelo de vídeo de IA LTX-2 y desafía a Sora y Veo" . The Decoder . Consultado el 23 de abril de 2026 .

[59] Lightricks. "Lightricks lanza LTX-2: el primer modelo completo de base de vídeo con IA de código abierto" . www.prnewswire.com . Consultado el 23 de abril de 2026 .

[:02-60] Alammar, Jay. "La difusión estable ilustrada" . jalammar.github.io . Consultado el 31 de octubre de 2022 .

[:6-61] Esser, Patrick; Kulal, Sumith; Blattmann, Andreas; Entezari, Rahim; Müller, Jonas; Saini, Harry; Levi, Yam; Lorenz, Dominik; Sauer, Axel (2024-03-05). "Escalado de transformadores de flujo rectificados para síntesis de imágenes de alta resolución". arXiv : 2403.03206 [ cs.CV ].

[62] Xie, Yiming; Yao, Chun-Han; Voleti, Vikram; Jiang, Huaizu; Jampani, Varun (2024-07-24). "SV4D: Generación dinámica de contenido 3D con consistencia de múltiples fotogramas y múltiples vistas". arXiv : 2407.17470 [ cs.CV ].

[63] "Imagen: Modelos de difusión de texto a imagen" . imagen.research.google . Consultado el 4 de abril de 2024 .

[64] Saharia, Chitwan; Chan, William; Saxena, Saurabh; Li, Lala; Whang, Jay; Denton, Emily L.; Ghasemipour, Kamyar; Gontijo Lopes, Raphael; Karagol Ayan, Burcu; Salimans, Tim; Ho, Jonathan; Fleet, David J.; Norouzi, Mohammad (2022-12-06). "Modelos de difusión fotorrealistas de texto a imagen con comprensión profunda del lenguaje" . Advances in Neural Information Processing Systems . 35 : 36479–36494 . arXiv : 2205.11487 .

[65] Chang, Huiwen; Zhang, Han; Barber, Jarred; Maschinot, AJ; Lezama, Jose; Jiang, Lu; Yang, Ming-Hsuan; Murphy, Kevin; Freeman, William T. (2023-01-02). "Muse: Generación de texto a imagen mediante transformadores generativos enmascarados". arXiv : 2301.00704 [ cs.CV ].

[66] "Imagen 2: nuestra tecnología de conversión de texto a imagen más avanzada" . Google DeepMind . Consultado el 4 de abril de 2024 .

[67] Imagen-Equipo-Google; Baldridge, Jason; Bauer, Jakob; Bután, Mukul; Brichtova, Nicole; Bunner, Andrés; Castrejón, Lluís; Chan, Kelvin; Chen, Yichang (13 de diciembre de 2024), Imagen 3 , arXiv : 2408.07009{{citation}}: |last1=tiene nombre genérico ( ayuda )

[68] "Veo" . Google DeepMind . 14 de mayo de 2024. Consultado el 17 de mayo de 2024 .

[69] "Presentamos Make-A-Video: un sistema de IA que genera vídeos a partir de texto" . ai.meta.com . Consultado el 20 de septiembre de 2024 .

[70] Singer, Uriel; Polyak, Adam; Hayes, Thomas; Yin, Xi; An, Jie; Zhang, Songyang; Hu, Qiyuan; Yang, Harry; Ashual, Oron (2022-09-29). "Make-A-Video: Generación de texto a vídeo sin datos de texto a vídeo". arXiv : 2209.14792 [ cs.CV ].

[71] "Presentamos CM3leon, un modelo generativo más eficiente y de última generación para texto e imágenes" . ai.meta.com . Consultado el 20 de septiembre de 2024 .

[72] Equipo Chameleon (16 de mayo de 2024). "Chameleon: Modelos de fundación de fusión temprana de modo mixto". arXiv : 2405.09818 [ cs.CL ].

[73] Zhou, Chunting; Yu, Lili; Babú, Arun; Tirumala, Kushal; Yasunaga, Michihiro; Shamis, Leonidas; Kahn, Jacob; Mamá, Xuezhe; Zettlemoyer, Luke (20 de agosto de 2024). "Transfusión: predecir el siguiente token y difundir imágenes con un modelo multimodal". arXiv : 2408.11039 [ cs.AI ].

[74] Movie Gen: Un elenco de modelos de Media Foundation , El equipo de Movie Gen @ Meta, 4 de octubre de 2024.

[

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 15 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]

[ 24 ]

[ 25 ]

[ 29 ].

[ 30 ]

[ 31 ]

[ 32 ]

[ 33 ]

[ 34 ]

[ 35 ]

[ 36 ]

[ 37 ]

[ 38 ]

[ 39 ]

[ 40 ]

[ 41 ]

[ 43 ]

[ 44 ]

[ 46 ]

[ 47 ]

[ 49 ]

[ 50 ]

[ 51 ]

[ 52 ] .

[ 53 ]

[ 54 ]

[ 55 ]

[ 56 ]

[

[

[

[ 62 ]

[ 63 ]

[ 64 ]

[ 65 ]

[ 66 ]

[ 67 ]

[ 68 ]

[ 69 ]

[ 70 ]

[ 71 ]

[ 72 ]

[ 73 ]

[ 74 ]

Modelo de difusión con eliminación de ruido

Termodinámica del no equilibrio

Modelo probabilístico de difusión con eliminación de ruido (DDPM)

Difusión hacia adelante

Difusión hacia atrás

Inferencia variacional

Red de predicción de ruido

Proceso de difusión inversa

Modelo generativo basado en puntuación

Coincidencia de puntuación

La idea de las funciones de puntuación

Aprender la función de puntuación

Recocido de la función de puntuación

procesos de difusión continua

Proceso de difusión hacia adelante

Proceso de difusión inversa

Red de puntuación condicional de ruido (NCSN)

Su equivalencia

Variantes principales

Horario de ruido

Modelo implícito de difusión de eliminación de ruido (DDIM)

modelo de difusión latente (LDM)

Mejoras arquitectónicas

Guía del clasificador

Con temperatura

Guía sin clasificadores (CFG)

Muestras

Otros ejemplos

Modelo de difusión basado en el flujo

Flujo de transporte óptimo

Flujo rectificado

Elección de la arquitectura

Modelo de difusión

Acondicionamiento

Ampliación de escala

Ejemplos

OpenAI

Lightricks

IA de estabilidad

Google

Meta

Véase también

Lecturas adicionales

Referencias

Articulos relacionados