Dirección de descenso

En optimización , una dirección de descenso es un vector${\displaystyle \mathbf {p} \in \mathbb {R} ^{n}}$que apunta hacia un mínimo local${\displaystyle \mathbf {x} ^{*}}$de una función objetivo${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$.

Computación${\displaystyle \mathbf {x} ^{*}}$mediante un método iterativo, como la búsqueda lineal, se define una dirección de descenso.${\displaystyle \mathbf {p} _{k}\in \mathbb {R} ^{n}}$al${\displaystyle k}$iterar para ser cualquiera${\displaystyle \mathbf {p} _{k}}$de tal manera que${\displaystyle \langle \mathbf {p} _{k},\nabla f(\mathbf {x} _{k})\rangle <0}$, dónde${\displaystyle \langle ,\rangle }$denota el producto interno . La motivación para tal enfoque es que pequeños pasos a lo largo de${\displaystyle \mathbf {p} _{k}}$garantizar que${\displaystyle \displaystyle f}$se reduce, por el teorema de Taylor .

Utilizando esta definición, el negativo de un gradiente distinto de cero es siempre una dirección de descenso, como${\displaystyle \langle -\nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle =-\langle \nabla f(\mathbf {x} _{k}),\nabla f(\mathbf {x} _{k})\rangle <0}$.

Existen numerosos métodos para calcular las direcciones de descenso, todos con diferentes ventajas, como el descenso de gradiente o el método del gradiente conjugado .

En términos más generales, si${\displaystyle P}$es una matriz definida positiva , entonces ${\displaystyle p_{k}=-P\nabla f(x_{k})}$es una dirección de descenso en${\displaystyle x_{k}}$. ^{[ 1 ]} Esta generalidad se utiliza en métodos de descenso de gradiente precondicionados .

• Derivada direccional