Función de valor

La función de valor de un problema de optimización proporciona el valor alcanzado por la función objetivo en una solución, dependiendo únicamente de los parámetros del problema. ^{[ 1 ] [ 2 ]} En un sistema dinámico controlado , la función de valor representa la recompensa óptima del sistema en el intervalo${\displaystyle [t,t_{1}]}$cuando comenzó en ese momento-${\displaystyle t}$variable de estado${\displaystyle x(t)=x}$^{[ 3 ]} Si la función objetivo representa algún costo que debe minimizarse, la función de valor puede interpretarse como el costo para finalizar el programa óptimo, y por lo tanto se la denomina "función de costo restante". ^{[ 4 ] [ 5 ]} En un contexto económico, donde la función objetivo generalmente representa la utilidad , la función de valor es conceptualmente equivalente a la función de utilidad indirecta . ^{[ 6 ] [ 7 ]}

En un problema de control óptimo , la función de valor se define como el supremo de la función objetivo tomado sobre el conjunto de controles admisibles. Dado${\displaystyle (t_{0},x_{0})\in [0,t_{1}]\times \mathbb {R} ^{d}}$, un problema típico de control óptimo es

${\displaystyle {\text{maximizar}}\quad J(t_{0},x_{0};u)=\int _{t_{0}}^{t_{1}}I(t,x(t),u(t))\,\mathrm {d} t+\phi (x(t_{1}))}$

sujeto a

${\displaystyle {\frac {\mathrm {d} x(t)}{\mathrm {d} t}}=f(t,x(t),u(t))}$

con variable de estado inicial${\displaystyle x(t_{0})=x_{0}}$. ^{[ 8 ]} La función objetivo${\displaystyle J(t_{0},x_{0};u)}$debe maximizarse sobre todos los controles admisibles${\displaystyle u\in U[t_{0},t_{1}]}$, dónde${\displaystyle u}$es una función medible de Lebesgue de${\displaystyle [t_{0},t_{1}]}$a algún conjunto arbitrario prescrito en${\displaystyle \mathbb {R} ^{m}}$La función de valor se define entonces como

con${\displaystyle V(t_{1},x(t_{1}))=\phi (x(t_{1}))}$, dónde${\displaystyle \phi (x(t_{1}))}$es el "valor de desecho". Si el par óptimo de trayectorias de control y estado es${\displaystyle (x^{\ast },u^{\ast })}$, entonces${\displaystyle V(t_{0},x_{0})=J(t_{0},x_{0};u^{\ast })}$. La función${\displaystyle h}$que proporciona el control óptimo${\displaystyle u^{\ast }}$basado en el estado actual${\displaystyle x}$se denomina política de control de retroalimentación, ^{[ 4 ]} o simplemente función de política. ^{[ 9 ]}

El principio de optimalidad de Bellman establece aproximadamente que cualquier política óptima en el momento${\displaystyle t}$,${\displaystyle t_{0}\leq t\leq t_{1}}$tomando el estado actual${\displaystyle x(t)}$como "nueva" condición inicial debe ser óptima para el problema restante. Si la función de valor resulta ser continuamente diferenciable , ^{[ 10 ]} esto da lugar a una importante ecuación diferencial parcial conocida como ecuación de Hamilton-Jacobi-Bellman ,

${\displaystyle -{\frac {\partial V(t,x)}{\partial t}}=\max _{u}\left\{I(t,x,u)+{\frac {\partial V(t,x)}{\partial x}}f(t,x,u)\right\}}$

donde el maximando del lado derecho también puede reescribirse como el hamiltoniano ,${\displaystyle H\left(t,x,u,\lambda \right)=I(t,x,u)+\lambda (t)f(t,x,u)}$, como

${\displaystyle -{\frac {\partial V(t,x)}{\partial t}}=\max _{u}H(t,x,u,\lambda )}$

con${\displaystyle \partial V(t,x)/\partial x=\lambda (t)}$desempeñando el papel de las variables coestado . ^{[ 11 ]} Dada esta definición, además tenemos${\displaystyle \mathrm {d} \lambda (t)/\mathrm {d} t=\partial ^{2}V(t,x)/\partial x\partial t+\partial ^{2}V(t,x)/\partial x^{2}\cdot f(x)}$y después de diferenciar ambos lados de la ecuación HJB con respecto a${\displaystyle x}$,

${\displaystyle -{\frac {\partial ^{2}V(t,x)}{\partial t\partial x}}={\frac {\partial I}{\partial x}}+{\frac {\partial ^{2}V(t,x)}{\partial x^{2}}}f(x)+{\frac {\partial V(t,x)}{\partial x}}{\frac {\partial f(x)}{\partial x}}}$

que, tras sustituir los términos apropiados, recupera la ecuación coestado.

${\displaystyle -{\dot {\lambda }}(t)=\underbrace {{\frac {\partial I}{\partial x}}+\lambda (t){\frac {\partial f(x)}{\partial x}}} _{={\frac {\partial H}{\partial x}}}}$

dónde${\displaystyle {\dot {\lambda }}(t)}$es la notación de Newton para la derivada con respecto al tiempo. ^{[ 12 ]}

La función de valor es la solución de viscosidad única de la ecuación de Hamilton-Jacobi-Bellman. ^{[ 13 ]} En un control óptimo aproximado en lazo cerrado en línea , la función de valor también es una función de Lyapunov que establece la estabilidad asintótica global del sistema en lazo cerrado. ^{[ 14 ]}

• Caputo, Michael R. (2005). «Condiciones necesarias y suficientes para problemas isoperimétricos» . Fundamentos del análisis económico dinámico  : teoría y aplicaciones del control óptimo . Nueva York: Cambridge University Press. pp. 174–210 . ISBN  0-521-60368-4.
• Clarke, Frank H.; Loewen, Philip D. (1986). "La función de valor en el control óptimo: sensibilidad, controlabilidad y optimalidad temporal". SIAM Journal on Control and Optimization . 24 (2): 243– 263. doi : 10.1137/0324014 .
• LaFrance, Jeffrey T.; Barney, L. Dwayne (1991). "El teorema de la envolvente en la optimización dinámica" (PDF) . Journal of Economic Dynamics and Control . 15 (2): 355– 385. doi : 10.1016/0165-1889(91)90018-V .
• Stengel, Robert F. (1994). «Condiciones para la optimalidad» . Control óptimo y estimación . Nueva York: Dover. págs. 201–222 . ISBN  0-486-68200-5.