Función Swish

La función swish es una familia de funciones matemáticas definidas de la siguiente manera:

${\displaystyle \operatorname {swish} _{\beta }(x)=x\operatorname {sigmoid} (\beta x)={\frac {x}{1+e^{-\beta x}}}.}$^{[ 1 ]}

dónde${\displaystyle \beta }$puede ser constante (normalmente se establece en 1) o entrenable y "sigmoide" se refiere a la función logística .

La familia de funciones swish fue diseñada para interpolar suavemente entre una función lineal y la función de unidad lineal rectificada (ReLU).

Al considerar valores positivos, Swish es un caso particular de la función de contracción sigmoide doblemente parametrizada definida en ^{[ 2 ] : Eq 3} . Las variantes de la función swish incluyen Mish . ^{[ 3 ]}

Para β  =  0, la función es lineal: f( x ) = x /2.

Para β  = 1, la función es la Unidad Lineal Sigmoide (SiLU).

Para β  = 1,702, la función se aproxima a GeLU . ^{[ 4 ]}

Cuando β  →  ∞, la función converge a ReLU .

De este modo, la familia swish interpola suavemente entre una función lineal y la función ReLU. ^{[ 1 ]}

Desde${\displaystyle \operatorname {swish} _{\beta }(x)=\operatorname {swish} _{1}(\beta x)/\beta }$, todas las instancias de swish tienen la misma forma que la predeterminada${\displaystyle \operatorname {swish} _{1}}$, ampliado por${\displaystyle \beta }$. Normalmente se establece${\displaystyle \beta >0}$. Cuando${\displaystyle \beta }$es entrenable, esta restricción puede ser impuesta por${\displaystyle \beta =e^{b}}$, dónde${\displaystyle b}$es entrenable.

$${\displaystyle \operatorname {swish} _{1}(x)={\frac {x}{2}}+{\frac {x^{2}}{4}}-{\frac {x^{4}}{48}}+{\frac {x^{6}}{480}}+O\left(x^{8}\right)}$$

$${\displaystyle {\begin{aligned}\operatorname {swish} _{1}(x)&={\frac {x}{2}}\tanh \left({\frac {x}{2}}\right)+{\frac {x}{2}}\\\operatorname {swish} _{1}(x)+\operatorname {swish} _{-1}(x)&=x\tanh \left({\frac {x}{2}}\right)\\\operatorname {swish} _{1}(x)-\operatorname {swish} _{-1}(x)&=x\end{aligned}}}$$

Porque${\displaystyle \operatorname {swish} _{\beta }(x)=\operatorname {swish} _{1}(\beta x)/\beta }$, basta con calcular sus derivadas para el caso por defecto.$${\displaystyle \operatorname {swish} _{1}'(x)={\frac {x+\sinh(x)}{4\cosh ^{2}\left({\frac {x}{2}}\right)}}+{\frac {1}{2}}}$$entonces${\displaystyle \operatorname {swish} _{1}'(x)-{\frac {1}{2}}}$es extraño.$${\displaystyle \operatorname {swish} _{1}''(x)={\frac {1-{\frac {x}{2}}\tanh \left({\frac {x}{2}}\right)}{2\cosh ^{2}\left({\frac {x}{2}}\right)}}}$$entonces${\displaystyle \operatorname {swish} _{1}''(x)}$es par.

SiLU se propuso por primera vez junto con GELU en 2016, ^{[ 4 ]} luego se propuso nuevamente en 2017 como la Unidad Lineal Ponderada Sigmoide (SiL) en aprendizaje por refuerzo . ^{[ 5 ] [ 1 ]} SiLU/SiL se propuso nuevamente como SWISH más de un año después de su descubrimiento inicial, propuesto originalmente sin el parámetro de aprendizaje β, de modo que β implícitamente era igual a 1. El artículo de SWISH se actualizó posteriormente para proponer la activación con el parámetro de aprendizaje β.

En 2017, tras analizar datos de ImageNet , investigadores de Google indicaron que el uso de esta función como función de activación en redes neuronales artificiales mejora el rendimiento, en comparación con las funciones ReLU y sigmoide. ^{[ 1 ]} Se cree que una de las razones de esta mejora es que la función swish ayuda a mitigar el problema del gradiente evanescente durante la retropropagación . ^{[ 6 ]}

• Función de activación
• Mecanismo de compuerta