Hispanopedia Wiki
Articulo de referencia

ecuación de Bellman

Diagrama de flujo de Bellman Una ecuación de Bellman , que recibe su nombre de Richard E. Bellman , es una técnica de programación dinámica que divide un problema de optimizació...

Hispanopedia WikiContenido en espanolLectura gratuita
Diagrama de flujo de Bellman

Una ecuación de Bellman , que recibe su nombre de Richard E. Bellman , es una técnica de programación dinámica que divide un problema de optimización en una secuencia de subproblemas más simples, como prescribe el "principio de optimalidad" de Bellman. [ 1 ] Es una condición necesaria para la optimalidad. [ 2 ] El "valor" de un problema de decisión en un momento dado se expresa en términos de la recompensa de algunas elecciones iniciales y el "valor" del problema de decisión restante que resulta de esas elecciones iniciales. [ 3 ] La ecuación se aplica a estructuras algebraicas con un orden total; para estructuras algebraicas con un orden parcial, se puede utilizar la ecuación genérica de Bellman. [ 4 ]

La ecuación de Bellman se aplicó por primera vez a la teoría del control de ingeniería y a otros temas de matemáticas aplicadas, y posteriormente se convirtió en una herramienta importante en la teoría económica ; aunque los conceptos básicos de la programación dinámica están prefigurados en la Teoría de los juegos y el comportamiento económico de John von Neumann y Oskar Morgenstern y en el análisis secuencial de Abraham Wald . [ 5 ] El término "ecuación de Bellman" generalmente se refiere a la ecuación de programación dinámica (EPD) asociada con problemas de optimización en tiempo discreto . [ 6 ] En problemas de optimización en tiempo continuo, la ecuación análoga es una ecuación diferencial parcial llamada ecuación de Hamilton-Jacobi-Bellman . [ 7 ] [ 8 ]

En tiempo discreto, cualquier problema de optimización multietapa puede resolverse analizando la ecuación de Bellman apropiada. Esta ecuación se puede encontrar introduciendo nuevas variables de estado (aumento de estado). [ 9 ] Sin embargo, el problema de optimización multietapa con estado aumentado resultante tiene un espacio de estado de mayor dimensión que el problema original, lo que puede hacer que el problema aumentado sea intratable debido a la " maldición de la dimensionalidad ". Alternativamente, se ha demostrado que si la función de costo del problema de optimización multietapa satisface una estructura "separable hacia atrás", entonces la ecuación de Bellman apropiada se puede encontrar sin aumento de estado. [ 10 ]

Conceptos analíticos en programación dinámica

Para comprender la ecuación de Bellman, es necesario introducir varios conceptos fundamentales. En primer lugar, todo problema de optimización tiene un objetivo: minimizar el tiempo de viaje, minimizar el costo, maximizar las ganancias, maximizar la utilidad, etc. La función matemática que describe este objetivo se denomina función objetivo . [ 11 ]

La programación dinámica divide un problema de planificación de múltiples períodos en pasos más simples en diferentes momentos. Por lo tanto, requiere hacer un seguimiento de cómo evoluciona la situación de decisión a lo largo del tiempo. La información sobre la situación actual que se necesita para tomar una decisión correcta se llama "estado". [ 12 ] [ 13 ] Por ejemplo, para decidir cuánto consumir y gastar en cada momento, las personas necesitarían saber (entre otras cosas) su riqueza inicial. Por lo tanto, la riqueza(W){\displaystyle (W)}sería una de sus variables de estado , pero probablemente habría otras.

Las variables elegidas en un momento dado suelen denominarse variables de control . Por ejemplo, en función de su riqueza actual, las personas pueden decidir cuánto consumir ahora. Elegir las variables de control ahora puede equivaler a elegir el siguiente estado; en términos más generales, el siguiente estado se ve afectado por otros factores además del control actual. Por ejemplo, en el caso más simple, la riqueza actual (el estado) y el consumo (el control) podrían determinar con exactitud la riqueza de mañana (el nuevo estado), aunque normalmente otros factores también influirán en la riqueza futura.

El enfoque de programación dinámica describe el plan óptimo al encontrar una regla que indique cuáles deben ser los controles, dado cualquier valor posible del estado. Por ejemplo, si el consumo ( c ) depende solo de la riqueza ( W ), buscaríamos una regla do(W){\displaystyle c(W)}que da el consumo como una función de la riqueza. Dicha regla, que determina los controles en función de los estados, se llama función de política . [ 14 ] [ 12 ]

Finalmente, por definición, la regla de decisión óptima es aquella que logra el mejor valor posible del objetivo. Por ejemplo, si alguien elige el consumo, dada la riqueza, para maximizar la felicidad (suponiendo que la felicidad H puede representarse mediante una función matemática, como una función de utilidad , y es algo definido por la riqueza), entonces cada nivel de riqueza estará asociado con algún nivel máximo posible de felicidad,H(W){\displaystyle H(W)}. El mejor valor posible del objetivo, escrito como una función del estado, se llama función de valor .

Bellman demostró que un problema de optimización dinámica en tiempo discreto puede plantearse de forma recursiva y paso a paso, mediante un método conocido como inducción hacia atrás, al describir la relación entre la función de valor en un periodo y la función de valor en el siguiente. Esta relación se denomina "ecuación de Bellman". En este enfoque, la política óptima en el último periodo se especifica de antemano como una función del valor de la variable de estado en ese momento, y el valor óptimo resultante de la función objetivo se expresa en función de dicho valor de la variable de estado. A continuación, la optimización del penúltimo periodo consiste en maximizar la suma de la función objetivo específica de ese periodo y el valor óptimo de la función objetivo futura, lo que da como resultado la política óptima de ese periodo, que depende del valor de la variable de estado en el momento de la decisión del penúltimo periodo. Esta lógica se repite recursivamente hacia atrás en el tiempo, hasta que se obtiene la regla de decisión del primer período, en función del valor de la variable de estado inicial, optimizando la suma de la función objetivo específica del primer período y el valor de la función de valor del segundo período, que proporciona el valor para todos los períodos futuros. De este modo, la decisión de cada período se toma reconociendo explícitamente que todas las decisiones futuras se tomarán de forma óptima.

Derivación

Un problema de decisión dinámico

Dejarincógnitat{\displaystyle x_{t}}ser el estado en ese momentot{\displaystyle t}Para una decisión que comienza en el tiempo 0, tomamos como dado el estado inicial.incógnita0{\displaystyle x_{0}}En cualquier momento, el conjunto de acciones posibles depende del estado actual; lo expresamos comoat∈Γ(incógnitat){\displaystyle a_{t}\in \Gamma (x_{t})}donde una acción particularat{\displaystyle a_{t}}representa valores particulares para una o más variables de control, yΓ(incógnitat){\displaystyle \Gamma (x_{t})}es el conjunto de acciones disponibles para ser tomadas a nivel estatalincógnitat{\displaystyle x_{t}}También se supone que el estado cambia deincógnita{\displaystyle x}a un nuevo estadoT(incógnita,a){\displaystyle T(x,a)}cuando la accióna{\displaystyle a}se toma, y ​​que el beneficio actual de tomar medidasa{\displaystyle a}en el estadoincógnita{\displaystyle x}esF(incógnita,a){\displaystyle F(x,a)}Finalmente, asumimos la impaciencia, representada por un factor de descuento .0<β<1{\displaystyle 0<\beta <1}.

Bajo estos supuestos, un problema de decisión de horizonte infinito toma la siguiente forma:

V(incógnita0)=máximo{at}t=0∞∑t=0∞βtF(incógnitat,at),{\displaystyle V(x_{0})\;=\;\max _{\left\{a_{t}\right\}_{t=0}^{\infty }}\sum _{t=0}^{\infty }\beta ^{t}F(x_{t},a_{t}),}

sujeto a las restricciones

at∈Γ(incógnitat),incógnitat+1=T(incógnitat,at),∀t=0,1,2,…{\displaystyle a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t=0,1,2,\dots }

Nótese que hemos definido la notaciónV(incógnita0){\displaystyle V(x_{0})}para denotar el valor óptimo que se puede obtener maximizando esta función objetivo sujeta a las restricciones supuestas. Esta función es la función de valor . Es una función de la variable de estado inicial.incógnita0{\displaystyle x_{0}}, puesto que el mejor valor obtenible depende de la situación inicial.

Principio de optimalidad de Bellman

El método de programación dinámica divide este problema de decisión en subproblemas más pequeños. El principio de optimalidad de Bellman describe cómo hacerlo:

Principio de optimalidad: Una política óptima tiene la propiedad de que, cualesquiera que sean el estado inicial y la decisión inicial, las decisiones restantes deben constituir una política óptima con respecto al estado resultante de la primera decisión. (Véase Bellman, 1957, Cap. III.3.) [ 12 ] [ 13 ] [ 15 ]

En informática, se dice que un problema que puede descomponerse de esta manera tiene una subestructura óptima . En el contexto de la teoría de juegos dinámicos , este principio es análogo al concepto de equilibrio perfecto en subjuegos , aunque lo que constituye una política óptima en este caso está condicionado a que los oponentes del decisor elijan políticas igualmente óptimas desde sus puntos de vista.

Como sugiere el principio de optimalidad , consideraremos la primera decisión por separado, dejando de lado todas las decisiones futuras (comenzaremos de nuevo desde el tiempo 1 con el nuevo estado).incógnita1{\displaystyle x_{1}}Al agrupar las decisiones futuras entre paréntesis a la derecha, el problema de decisión de horizonte infinito anterior es equivalente a:

máximoa0{F(incógnita0,a0)+β[máximo{at}t=1∞∑t=1∞βt−1F(incógnitat,at):at∈Γ(incógnitat),incógnitat+1=T(incógnitat,at),∀t≥1]}{\displaystyle \max _{a_{0}}\left\{F(x_{0},a_{0})+\beta \left[\max _{\left\{a_{t}\right\}_{t=1}^{\infty }}\sum _{t=1}^{\infty }\beta ^{t-1}F(x_{t},a_{t}):a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t\geq 1\right]\right\}}

sujeto a las restricciones

a0∈Γ(incógnita0),incógnita1=T(incógnita0,a0).{\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}

Aquí estamos eligiendoa0{\displaystyle a_{0}}, sabiendo que nuestra elección provocará que el estado del tiempo 1 seaincógnita1=T(incógnita0,a0){\displaystyle x_{1}=T(x_{0},a_{0})}Ese nuevo estado afectará entonces al problema de decisión a partir del momento 1. Todo el problema de decisión futuro aparece dentro de los corchetes de la derecha.

La ecuación de Bellman

Hasta ahora parece que solo hemos complicado el problema al separar la decisión de hoy de las decisiones futuras. Pero podemos simplificarlo al notar que lo que está dentro de los corchetes a la derecha es el valor del problema de decisión del tiempo 1, comenzando desde el estadoincógnita1=T(incógnita0,a0){\displaystyle x_{1}=T(x_{0},a_{0})}.

Por lo tanto, el problema puede reescribirse como una definición recursiva de la función de valor:

V(incógnita0)=máximoa0{F(incógnita0,a0)+βV(incógnita1)}{\displaystyle V(x_{0})=\max _{a_{0}}\{F(x_{0},a_{0})+\beta V(x_{1})\}}, sujeto a las restricciones:a0∈Γ(incógnita0),incógnita1=T(incógnita0,a0).{\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}

Esta es la ecuación de Bellman. Se puede simplificar aún más si se omiten los subíndices de tiempo y se sustituye el valor del siguiente estado:

V(incógnita)=máximoa∈Γ(incógnita){F(incógnita,a)+βV(T(incógnita,a))}.{\displaystyle V(x)=\max _{a\in \Gamma (x)}\{F(x,a)+\beta V(T(x,a))\}.}

La ecuación de Bellman se clasifica como una ecuación funcional , porque resolverla significa encontrar la función desconocida.V{\displaystyle V}, que es la función de valor . Recordemos que la función de valor describe el mejor valor posible del objetivo, en función del estado.incógnita{\displaystyle x}Al calcular la función de valor, también encontraremos la función.a(incógnita){\displaystyle a(x)}que describe la acción óptima en función del estado; esto se denomina función de política .

En un problema estocástico

En el contexto determinista, se pueden utilizar otras técnicas además de la programación dinámica para abordar el problema de control óptimo mencionado anteriormente . Sin embargo, la ecuación de Bellman suele ser el método más conveniente para resolver problemas de control óptimo estocástico .

Para un ejemplo específico de economía, consideremos un consumidor con vida infinita y una dotación inicial de riqueza.a0{\displaystyle {\color {Red}a_{0}}}en el período0{\displaystyle 0}Tienen una función de utilidad instantánea.tú(do){\displaystyle u(c)}dóndedo{\displaystyle c}denota el consumo y descuenta la utilidad del siguiente período a una tasa de0<β<1{\displaystyle 0<\beta <1}. Supongamos que lo que no se consume en el períodot{\displaystyle t}se traslada al siguiente período con tasa de interésr{\displaystyle r}Entonces, el problema de maximización de la utilidad del consumidor consiste en elegir un plan de consumo.{dot}{\displaystyle \{{\color {OliveGreen}c_{t}}\}}eso lo resuelve

máximo∑t=0∞βttú(dot){\displaystyle \max \sum _{t=0}^{\infty }\beta ^{t}u({\color {OliveGreen}c_{t}})}

sujeto a

at+1=(1+r)(at−dot),dot≥0,{\displaystyle {\color {Red}a_{t+1}}=(1+r)({\color {Red}a_{t}}-{\color {OliveGreen}c_{t}}),\;{\color {OliveGreen}c_{t}}\geq 0,}

y

límitet→∞at≥0.{\displaystyle \lim _{t\rightarrow \infty }{\color {Red}a_{t}}\geq 0.}

La primera restricción es la acumulación de capital/ley de movimiento especificada por el problema, mientras que la segunda restricción es una condición de transversalidad que establece que el consumidor no tiene deudas al final de su vida. La ecuación de Bellman es

V(a)=máximo0≤do≤a{tú(do)+βV((1+r)(a−do))},{\displaystyle V(a)=\max _{0\leq c\leq a}\{u(c)+\beta V((1+r)(a-c))\},}

Alternativamente, se puede tratar el problema de la secuencia directamente utilizando, por ejemplo, las ecuaciones hamiltonianas .

Ahora bien, si el tipo de interés varía de un período a otro, el consumidor se enfrenta a un problema de optimización estocástica. Supongamos que el tipo de interés r sigue un proceso de Markov con función de transición de probabilidad.Q(r,dμr){\displaystyle Q(r,d\mu _{r})}dóndedμr{\displaystyle d\mu _{r}}denota la medida de probabilidad que rige la distribución de la tasa de interés del próximo período si la tasa de interés actual esr{\displaystyle r}En este modelo, el consumidor decide su consumo del período actual después de que se anuncia el tipo de interés del período actual.

En lugar de simplemente elegir una sola secuencia{dot}{\displaystyle \{{\color {OliveGreen}c_{t}}\}}, ahora el consumidor debe elegir una secuencia{dot}{\displaystyle \{{\color {OliveGreen}c_{t}}\}}para cada posible realización de un{rt}{\displaystyle \{r_{t}\}}de tal manera que se maximice su utilidad esperada a lo largo de su vida:

máximo{dot}t=0∞mi(∑t=0∞βttú(dot)).{\displaystyle \max _{\left\{c_{t}\right\}_{t=0}^{\infty }}\mathbb {E} {\bigg (}\sum _{t=0}^{\infty }\beta ^{t}u({\color {OliveGreen}c_{t}}){\bigg )}.}

La expectativami{\displaystyle \mathbb {E} }se toma con respecto a la medida de probabilidad apropiada dada por Q en las secuencias de r . Dado que r se rige por un proceso de Markov, la programación dinámica simplifica significativamente el problema. Entonces, la ecuación de Bellman es simplemente:

V(a,r)=máximo0≤do≤a{tú(do)+β∫V((1+r)(a−do),r′)Q(r,dμr)}.{\displaystyle V(a,r)=\max _{0\leq c\leq a}\{u(c)+\beta \int V((1+r)(a-c),r')Q(r,d\mu _{r})\}.}

Bajo alguna suposición razonable, la función de política óptima resultante g ( a , r ) es medible .

Para un problema general de optimización secuencial estocástica con choques markovianos y donde el agente se enfrenta a su decisión ex post , la ecuación de Bellman toma una forma muy similar.

V(incógnita,z)=máximodo∈Γ(incógnita,z){F(incógnita,do,z)+β∫V(T(incógnita,do),z′)dμz(z′)}.{\displaystyle V(x,z)=\max _{c\in \Gamma (x,z)}\{F(x,c,z)+\beta \int V(T(x,c),z')d\mu _{z}(z')\}.}

Métodos de solución

  • El método de coeficientes indeterminados , también conocido como "adivinar y verificar", puede utilizarse para resolver algunas ecuaciones de Bellman autónomas de horizonte infinito . [ 16 ]
  • La ecuación de Bellman se puede resolver mediante inducción hacia atrás , ya sea analíticamente en algunos casos especiales o numéricamente en una computadora. La inducción numérica hacia atrás es aplicable a una amplia variedad de problemas, pero puede ser inviable cuando hay muchas variables de estado, debido a la maldición de la dimensionalidad . DP Bertsekas y JN Tsitsiklis introdujeron la programación dinámica aproximada con el uso de redes neuronales artificiales ( perceptrones multicapa ) para aproximar la función de Bellman. [ 17 ] Esta es una estrategia de mitigación efectiva para reducir el impacto de la dimensionalidad al reemplazar la memorización del mapeo completo de la función para todo el dominio espacial con la memorización de los únicos parámetros de la red neuronal. En particular, para sistemas de tiempo continuo, se introdujo un enfoque de programación dinámica aproximada que combina iteraciones de políticas con redes neuronales. [ 18 ] En tiempo discreto, se introdujo un enfoque para resolver la ecuación HJB que combina iteraciones de valor y redes neuronales. [ 19 ]
  • Calculando las condiciones de primer orden asociadas a la ecuación de Bellman y utilizando el teorema de la envolvente para eliminar las derivadas de la función de valor, se puede obtener un sistema de ecuaciones en diferencias o ecuaciones diferenciales denominado « ecuaciones de Euler ». [ 20 ] Posteriormente, se pueden utilizar técnicas estándar para la resolución de ecuaciones en diferencias o diferenciales para calcular la dinámica de las variables de estado y las variables de control del problema de optimización.

Aplicaciones en economía

La primera aplicación conocida de una ecuación de Bellman en economía se debe a Martin Beckmann y Richard Muth . [ 21 ] Martin Beckmann también escribió extensamente sobre la teoría del consumo utilizando la ecuación de Bellman en 1959. Su trabajo influyó en Edmund S. Phelps , entre otros.

Una aplicación económica destacada de la ecuación de Bellman es el artículo fundamental de Robert C. Merton de 1973 sobre el modelo intertemporal de valoración de activos de capital . [ 22 ] (Véase también el problema de la cartera de Merton ). La solución al modelo teórico de Merton, en el que los inversores eligen entre ingresos actuales e ingresos futuros o ganancias de capital, es una forma de la ecuación de Bellman. Dado que las aplicaciones económicas de la programación dinámica suelen dar como resultado una ecuación de Bellman que es una ecuación en diferencias , los economistas se refieren a la programación dinámica como un "método recursivo" y actualmente se reconoce dentro de la economía un subcampo de la economía recursiva .

Nancy Stokey , Robert E. Lucas y Edward Prescott describen la programación dinámica estocástica y no estocástica con considerable detalle y desarrollan teoremas para la existencia de soluciones a problemas que cumplen ciertas condiciones. También describen muchos ejemplos de modelado de problemas teóricos en economía utilizando métodos recursivos. [ 23 ] Este libro llevó a que la programación dinámica se empleara para resolver una amplia gama de problemas teóricos en economía, incluyendo el crecimiento económico óptimo , la extracción de recursos , los problemas principal-agente , las finanzas públicas , la inversión empresarial , la fijación de precios de activos , la oferta de factores y la organización industrial . Lars Ljungqvist y Thomas Sargent aplican la programación dinámica para estudiar una variedad de cuestiones teóricas en política monetaria , política fiscal , tributación , crecimiento económico , teoría de la búsqueda y economía laboral . [ 24 ] Avinash Dixit y Robert Pindyck mostraron el valor del método para pensar en la presupuestación de capital . [ 25 ] Anderson adaptó la técnica a la valoración de empresas, incluyendo empresas privadas. [ 26 ]

El uso de la programación dinámica para resolver problemas concretos se complica por dificultades de información, como la elección de la tasa de descuento no observable. También existen problemas computacionales, siendo el principal la maldición de la dimensionalidad, derivada del gran número de acciones posibles y variables de estado potenciales que deben considerarse antes de seleccionar una estrategia óptima. Para un análisis exhaustivo de los problemas computacionales, véanse Miranda y Fackler [ 27 ] y Meyn 2007 [ 28 ].

Ejemplo

En los procesos de decisión de Markov , una ecuación de Bellman es una recursión para las recompensas esperadas. Por ejemplo, la recompensa esperada por estar en un estado particular s y seguir una política fija.π{\displaystyle \pi }tiene la ecuación de Bellman:

Vπ(s)=R(s,π(s))+γ∑s′PAG(s′|s,π(s))Vπ(s′). {\displaystyle V^{\pi }(s)=R(s,\pi (s))+\gamma \sum _{s'}P(s'|s,\pi (s))V^{\pi }(s').\ }

Esta ecuación describe la recompensa esperada por llevar a cabo la acción prescrita por alguna política.π{\displaystyle \pi }.

La ecuación para la política óptima se conoce como la ecuación de optimalidad de Bellman :

Vπ∗(s)=máximoa{R(s,a)+γ∑s′PAG(s′|s,a)Vπ∗(s′)}. {\displaystyle V^{\pi *}(s)=\max _{a}\left\{{R(s,a)+\gamma \sum _{s'}P(s'|s,a)V^{\pi *}(s')}\right\}.\ }

dóndeπ∗{\displaystyle {\pi *}}es la política óptima yVπ∗{\displaystyle V^{\pi *}}Se refiere a la función de valor de la política óptima. La ecuación anterior describe la recompensa por tomar la acción que proporciona el mayor retorno esperado.

Véase también

Referencias

  1. ↑ Kirk, Donald E. (1970). Teoría del control óptimo: una introducción . Prentice-Hall. pág.  55. ISBN 0-13-638098-0.
  2. ↑ Dixit, Avinash K. (1990). Optimización en la teoría económica (2.ª ed.). Oxford University Press. pág. 164. ISBN   0-19-877211-4.
  3. ↑ "Principio de optimalidad de Bellman" . www.ques10.com . Consultado el 17 de agosto de 2023 .
  4. ↑ Szcześniak, Ireneusz; Woźna-Szcześniak, Bożena (2023), "Generic Dijkstra: Correctness and tractability", Simposio de gestión y operaciones de red IEEE/IFIP NOMS 2023-2023 , págs. 1 a 7, arXiv : 2204.13547 , doi : 10.1109/NOMS56928.2023.10154322 , ISBN  978-1-6654-7716-1, S2CID 248427020 
  5. ↑ Wald, Abraham (1947). Análisis secuencial . Wiley.
  6. ↑ Kirk 1970 , pág. 70 
  7. ↑ Kamien, Morton I. ; Schwartz, Nancy L. (1991). Optimización dinámica: El cálculo de variaciones y el control óptimo en economía y gestión (Segunda ed.). Ámsterdam: Elsevier. pág. 261. ISBN   0-444-01609-0.
  8. ↑ Kirk 1970 , pág. 88 
  9. ↑ Jones, Morgan; Peet, Matthew M. (2020). "Extensiones del marco de programación dinámica: programación de baterías, cargos por demanda e integración de energías renovables". IEEE Transactions on Automatic Control . 66 (4): 1602– 1617. arXiv : 1812.00792 . doi : 10.1109/TAC.2020.3002235 . S2CID 119622206 . 
  10. ↑ Jones, Morgan; Peet, Matthew M. (2021). "Una generalización de la ecuación de Bellman con aplicación a la planificación de rutas, evitación de obstáculos y estimación de conjuntos invariantes" . Automatica . 127 109510. arXiv : 2006.08175 . doi : 10.1016/j.automatica.2021.109510 . S2CID 222350370 . 
  11. ↑ Bertsekas, Dimitri P. (2005). Programación dinámica y control óptimo (3.ª ed.). Belmond, Massachusetts: Athena Scientific. p. 2. ISBN   1-886529-26-4.
  12. 1 2 3 Bellman, RE (2003) [1957]. Programación dinámica . Dover. ISBN 0-486-42809-5.
  13. 1 2 Dreyfus, S. (2002). "Richard Bellman sobre el nacimiento de la programación dinámica". Operations Research . 50 (1): 48– 51. doi : 10.1287/opre.50.1.48.17791 .
  14. ↑ Bellman, 1957, Cap. III.2.
  15. ↑ Bellman, R (agosto de 1952). " Sobre la teoría de la programación dinámica" . Proc Natl Acad Sci USA . 38 (8): 716– 9. Bibcode : 1952PNAS...38..716B . doi : 10.1073/pnas.38.8.716 . PMC 1063639. PMID 16589166 .  
  16. ^ Ljungqvist, Lars; Sargent, Thomas J. (2004). Teoría macroeconómica recursiva (2ª ed.). Prensa del MIT. págs. 88 –90. ISBN   0-262-12274-X.
  17. ↑ Bertsekas, Dimitri P.; Tsitsiklis, John N. (1996). Programación neurodinámica . Athena Scientific. ISBN 978-1-886529-10-6.
  18. ↑ Abu-Khalaf, Murad; Lewis, Frank L. (2005). "Leyes de control casi óptimas para sistemas no lineales con actuadores saturados mediante un enfoque HJB de red neuronal". Automatica . 41 (5): 779– 791. doi : 10.1016/j.automatica.2004.11.034 . S2CID 14757582 . 
  19. ↑ Al-Tamimi, Asma; Lewis, Frank L.; Abu-Khalaf, Murad (2008). "Solución HJB no lineal en tiempo discreto mediante programación dinámica aproximada: prueba de convergencia". IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics . 38 (4): 943– 949. doi : 10.1109/TSMCB.2008.926614 . PMID 18632382 . S2CID 14202785 .  
  20. ↑ Miao, Jianjun (2014). Dinámica económica en tiempo discreto . MIT Press. pág. 134. ISBN  978-0-262-32560-8.
  21. ↑ Beckmann, Martin; Muth, Richard (1954). "Sobre la solución a la 'ecuación fundamental' de la teoría de inventarios" (PDF) . Documento de debate de la Comisión Cowles 2116 .
  22. ↑ Merton, Robert C. (1973). "Un modelo intertemporal de valoración de activos de capital". Econometrica . 41 (5): 867– 887. doi : 10.2307/1913811 . JSTOR 1913811 . 
  23. ↑ Stokey, Nancy; Lucas, Robert E.; Prescott, Edward (1989). Métodos recursivos en dinámica económica . Harvard University Press. ISBN 0-674-75096-9.
  24. ↑ Ljungqvist, Lars; Sargent, Thomas (2012). Teoría macroeconómica recursiva (3.ª ed.). MIT Press. ISBN  978-0-262-01874-6.
  25. ↑ Dixit, Avinash; Pindyck, Robert (1994). Investment Under Uncertainty . Princeton University Press. ISBN 0-691-03410-9.
  26. ↑ Anderson, Patrick L. (2004). «Cap. 10». Economía y finanzas empresariales . CRC Press. ISBN 1-58488-348-0.— (2009). "El valor de las empresas privadas en los Estados Unidos". Economía empresarial . 44 (2): 87– 108. doi : 10.1057/be.2009.4 . S2CID 154743445 . — (2013). Economía de la valoración de empresas . Stanford University Press. ISBN 978-0-8047-5830-7.Stanford Press archivado el 8 de agosto de 2013 en Wayback Machine
  27. ↑ Miranda, Mario J.; Fackler, Paul L. (2004). Economía y finanzas computacionales aplicadas . MIT Press. ISBN 978-0-262-29175-0.
  28. ↑ Meyn, Sean (2008). Técnicas de control para redes complejas . Cambridge University Press. ISBN 978-0-521-88441-9. El apéndice contiene una versión abreviada de Meyn & Tweedie , archivada el 12 de octubre de 2007 en Wayback Machine .
Lecturas relacionadas
6 articulos
Richard E. BellmanRichard E. BellmanRichard Ernest Bellman [2] (26 de agosto de 1920 – 19 de marzo de 1984) fue un matemático aplicado estadounidense , que introdujo la programación d...Programación dinámicaProgramación dinámicaLa programación dinámica es a la vez un método de optimización matemática y un paradigma algorítmico . El método fue desarrollado por Richard Bellm...Programación dinámicaProgramación dinámicaLa programación dinámica ( PD ) es tanto un método de optimización matemática como un paradigma algorítmico . El método fue desarrollado por Richar...SecuenciaUna secuencia infinita de números reales (en azul). Esta secuencia no es ni creciente ni decreciente, ni convergente ni de Cauchy . Sin embargo, es...{\displaystyle S\Flecha derecha N}Necesidad y suficienciaEn lógica y matemáticas , necesidad y suficiencia son términos utilizados para describir una relación condicional o implicacional entre dos enuncia...Teoría del controlTeoría del controlLa teoría de control es un campo de la ingeniería de control y las matemáticas aplicadas que se ocupa del control de sistemas dinámicos en procesos...