Softplus

En matemáticas y aprendizaje automático , la función softplus es

${\displaystyle f(x)=\ln(1+e^{x}).}$

Es una aproximación suave (de hecho, una función analítica ) a la función rampa , que se conoce como rectificador o ReLU (unidad lineal rectificada) en aprendizaje automático. Para valores negativos grandes${\displaystyle x}$es${\displaystyle \ln(1+e^{x})=\ln(1+\epsilon )\gtrapprox \ln 1=0}$, así que justo por encima de 0, mientras que para valores positivos grandes${\displaystyle x}$es${\displaystyle \ln(1+e^{x})\gtrapprox \ln(e^{x})=x}$, así que justo encima${\displaystyle x}$.

Los nombres softplus ^{[ 1 ] [ 2 ]} y SmoothReLU ^{[ 3 ]} se utilizan en el aprendizaje automático. El nombre "softplus" (2000), por analogía con el softmax anterior (1989), se debe presumiblemente a que es una aproximación suave ( soft ) de la parte positiva de x , que a veces se denota con un superíndice plus ,${\displaystyle x^{+}:=\max(0,x)}$.

Esta función se puede aproximar como:

${\displaystyle \ln \left(1+e^{x}\right)\approx {\begin{cases}\ln 2,&x=0,\\[6pt]{\frac {x}{1-e^{-x/\ln 2}}},&x\neq 0\end{cases}}}$

Al realizar el cambio de variables${\displaystyle x=y\ln(2)}$, esto es equivalente a

${\displaystyle \log _{2}(1+2^{y})\approx {\begin{cases}1,&y=0,\\[6pt]{\frac {y}{1-e^{-y}}},&y\neq 0.\end{cases}}}$

Un parámetro de nitidez${\displaystyle k}$Puede incluirse:

${\displaystyle f(x)={\frac {\ln(1+e^{kx})}{k}},\qquad \qquad f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}.}$

Además, la función softplus es equivalente al logaritmo de la función sigmoide de la siguiente manera:

${\displaystyle -\ln({\text{sigmoide}}(-x))=-\ln \left({\frac {1}{1+e^{x}}}\right)=\ln \left(1+e^{x}\right)={\text{súperplus}}(x)}$

La derivada de softplus es la función logística estándar :

${\displaystyle f'(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}}$

La función logística o la función sigmoide es una aproximación suave del rectificador, la función escalón de Heaviside .