Método del estado adjunto

El método del estado adjunto es un método numérico para calcular eficientemente el gradiente de una función u operador en un problema de optimización numérica . ^{[ 1 ]} Tiene aplicaciones en geofísica , imágenes sísmicas , fotónica y, más recientemente, en redes neuronales . ^{[ 2 ]}

El espacio de estados adjunto se elige para simplificar la interpretación física de las restricciones de la ecuación . ^{[ 3 ]}

Las técnicas de estado adjunto permiten el uso de la integración por partes , lo que da como resultado una fórmula que contiene explícitamente la magnitud físicamente relevante. Se introduce una ecuación de estado adjunto, que incluye una nueva variable desconocida.

El método adjunto formula el gradiente de una función respecto a sus parámetros en forma de optimización con restricciones. Al utilizar la forma dual de este problema de optimización con restricciones, se puede calcular el gradiente muy rápidamente. Una propiedad interesante es que el número de cálculos es independiente del número de parámetros para los que se desea obtener el gradiente. El método adjunto se deriva del problema dual ^{[ 4 ]} y se utiliza, por ejemplo, en el método iterativo de Landweber ^{[ 5 ]} .

El nombre método del estado adjunto se refiere a la forma dual del problema, donde la matriz adjunta${\displaystyle A^{*}={\overline {A}}^{T}}$se utiliza.

Cuando el problema inicial consiste en calcular el producto${\displaystyle s^{T}x}$y${\displaystyle x}$debe satisfacer${\displaystyle Ax=b}$, el problema dual puede realizarse calculando el producto${\displaystyle r^{T}b}$(${\displaystyle =s^{T}x}$) , dónde${\displaystyle r}$debe satisfacer${\displaystyle A^{*}r=s}$. Y ${\displaystyle r}$se denomina vector de estado adjunto.

El método original de cálculo adjunto se remonta a Jean Céa , ^{[ 6 ]} con el uso del lagrangiano del problema de optimización para calcular la derivada de un funcional con respecto a un parámetro de forma .

Para una variable de estado${\displaystyle u\in {\mathcal {U}}}$, una variable de optimización${\displaystyle v\in {\mathcal {V}}}$, una función objetivo${\displaystyle J:{\mathcal {U}}\times {\mathcal {V}}\to \mathbb {R} }$está definido. La variable de estado${\displaystyle u}$a menudo depende implícitamente de${\displaystyle v}$a través de la ecuación de estado (directa)${\displaystyle D_{v}(u)=0}$(generalmente la forma débil de una ecuación diferencial parcial ), por lo tanto, el objetivo considerado es${\displaystyle j(v)=J(u_{v},v)}$, dónde${\displaystyle u_{v}}$es la solución de la ecuación de estado dadas las variables de optimización${\displaystyle v}$. Normalmente, uno estaría interesado en calcular${\displaystyle \nabla j(v)}$Utilizando la regla de la cadena :

${\displaystyle \nabla j(v)=\nabla _{v}J(u_{v},v)+\nabla _{u}J(u_{v},v)\nabla _{v}u_{v}.}$

Desafortunadamente, el término${\displaystyle \nabla _ {v}u_ {v}}$A menudo es muy difícil diferenciar analíticamente ya que la dependencia se define a través de una ecuación implícita. El funcional lagrangiano puede utilizarse como una solución alternativa para este problema. Dado que la ecuación de estado puede considerarse como una restricción en la minimización de${\displaystyle j}$, el problema

${\displaystyle {\text{minimizar}}\ j(v)=J(u_{v},v)}$

${\displaystyle {\text{sujeto a}}\ D_{v}(u_{v})=0}$

tiene una función lagrangiana asociada${\displaystyle {\mathcal {L}}:{\mathcal {U}}\times {\mathcal {V}}\times {\mathcal {U}}\to \mathbb {R} }$definido por

${\displaystyle {\mathcal {L}}(u,v,\lambda )=J(u,v)+\langle D_{v}(u),\lambda \rangle ,}$

dónde${\displaystyle \lambda \in {\mathcal {U}}}$es un multiplicador de Lagrange o variable de estado adjunta y${\displaystyle \langle \cdot ,\cdot \rangle }$es un producto interno en${\displaystyle {\mathcal {U}}}$El método de los multiplicadores de Lagrange establece que una solución al problema debe ser un punto estacionario del lagrangiano, a saber:

${\displaystyle {\begin{cases}d_{u}{\mathcal {L}}(u,v,\lambda$ ;\delta _{u})=d_{u}J(u,v;\delta _{u})+\langle \delta _{u},D_{v}^{*}(\lambda )\rangle =0&\forall \delta _{u}\in {\mathcal {U}},\\d_{v}{\mathcal {L}}(u,v,\lambda  ;\delta _{v})=d_{v}J(u,v;\delta _{v})+\langle d_{v}D_{v}(u;\delta _{v}),\lambda \rangle =0&\forall \delta _{v}\in {\mathcal {V}},\\d_{\lambda }{\mathcal {L}}(u,v,\lambda  ;\delta _{\lambda })=\langle D_{v}(u),\delta _{\lambda }\rangle =0\quad &\forall \delta _{\lambda }\in {\mathcal {U}},\end{cases}}}

dónde${\displaystyle d_{x}F(x;\delta _{x})}$es el derivado de Gateaux de${\displaystyle F}$con respecto a${\displaystyle x}$en la dirección${\displaystyle \delta _{x}}$La última ecuación es equivalente a${\displaystyle D_{v}(u)=0}$, la ecuación de estado, a la cual se encuentra la solución${\displaystyle u_{v}}$La primera ecuación es la denominada ecuación de estado adjunta,

${\displaystyle \langle \delta _{u},D_{v}^{*}(\lambda )\rangle =-d_{u}J(u_{v},v;\delta _{u})\quad \forall \delta _{u}\in {\mathcal {U}},}$

porque el operador involucrado es el operador adjunto de${\displaystyle D_{v}}$,${\displaystyle D_{v}^{*}}$Al resolver esta ecuación se obtiene el estado adjunto.${\displaystyle \lambda _{v}}$. El gradiente de la cantidad de interés${\displaystyle j}$con respecto a${\displaystyle v}$es${\displaystyle \langle \nabla j(v),\delta _{v}\rangle =d_{v}j(v;\delta _{v})=d_{v}{\mathcal {L}}(u_{v},v,\lambda _{v};\delta _{v})}$(la segunda ecuación con${\displaystyle u=u_{v}}$y${\displaystyle \lambda =\lambda _{v}}$), por lo que puede identificarse fácilmente resolviendo posteriormente las ecuaciones de estado directas y adjuntas. El proceso es aún más sencillo cuando el operador${\displaystyle D_{v}}$es autoadjunto o simétrico ya que las ecuaciones de estado directa y adjunta difieren solo en su lado derecho.

En un contexto real de programación lineal de dimensión finita , la función objetivo podría ser${\displaystyle J(u,v)=\langle Au,v\rangle }$, para${\displaystyle v\in \mathbb {R} ^{n}}$,${\displaystyle u\in \mathbb {R} ^{m}}$y${\displaystyle A\in \mathbb {R} ^{n\times m}}$y sea la ecuación de estado${\displaystyle B_{v}u=b}$, con${\displaystyle B_{v}\in \mathbb {R} ^{m\times m}}$y${\displaystyle b\in \mathbb {R} ^{m}}$.

La función lagrangiana del problema es${\displaystyle {\mathcal {L}}(u,v,\lambda )=\langle Au,v\rangle +\langle B_{v}u-b,\lambda \rangle }$, dónde${\displaystyle \lambda \in \mathbb {R} ^{m}}$.

El derivado de${\displaystyle {\mathcal {L}}}$con respecto a${\displaystyle \lambda }$produce la ecuación de estado como se mostró anteriormente, y la variable de estado es${\displaystyle u_{v}=B_{v}^{-1}b}$. El derivado de${\displaystyle {\mathcal {L}}}$con respecto a${\displaystyle u}$es equivalente a la ecuación adjunta, que es, para cada${\displaystyle \delta _{u}\in \mathbb {R} ^{m}}$,

${\displaystyle d_{u}[\langle B_{v}\cdot -b,\lambda \rangle ](u;\delta _{u})=-\langle A^{\top }v,\delta u\rangle \iff \langle B_{v}\delta _{u},\lambda \rangle =-\langle A^{\top }v,\delta u\rangle \iff \langle B_{v}^{\top }\lambda +A^{\top }v,\delta _{u}\rangle =0\iff B_{v}^{\top }\lambda =-A^{\top }v.}$

Por lo tanto, podemos escribir simbólicamente${\displaystyle \lambda _{v}=-B_{v}^{-\top }A^{\top }v}$El gradiente sería

${\displaystyle \langle \nabla j(v),\delta _{v}\rangle =\langle Au_{v},\delta _{v}\rangle +\langle \nabla _{v}B_{v}:\lambda _{v}\otimes u_{v},\delta _{v}\rangle ,}$

dónde${\displaystyle \nabla _{v}B_{v}={\frac {\partial B_{ij}}{\partial v_{k}}}}$es un tensor de tercer orden ,${\displaystyle \lambda _{v}\otimes u_{v}=\lambda _{v}^{\top }u_{v}}$es el producto diádico entre los estados directo y adjunto y${\displaystyle$ :} denota una contracción de doble tensor . Se supone que${\displaystyle B_{v}}$tiene una expresión analítica conocida que se puede diferenciar fácilmente.

• Ecuación adjunta
• Retropropagación
• Método de los multiplicadores de Lagrange
• Optimización de la forma

• Una explicación bien escrita por Errico: ¿Qué es un modelo adjunto?
• Otra explicación bien escrita con ejemplos resueltos, escrita por Bradley.
• Explicación más técnica: Una revisión del método del estado adjunto para calcular el gradiente de un funcional con aplicaciones geofísicas.
• Curso del MIT
• Notas del MIT