unidad recurrente controlada

Inicialmente, para${\displaystyle t=0}$, el vector de salida es${\displaystyle h_{0}=0}$.

${\displaystyle {\begin{aligned}z_{t}&=\sigma (W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma (W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\{\hat {h}}_{t}&=\phi (W_{h}x_{t}+U_{h}(r_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-z_{t})\odot h_{t-1}+z_{t}\odot {\hat {h}}_{t}\end{aligned}}}$

Variables (${\displaystyle d}$denota el número de características de entrada y${\displaystyle e}$el número de características de salida):

• ${\displaystyle x_{t}\in \mathbb {R} ^{d}}$: vector de entrada
• ${\displaystyle h_{t}\in \mathbb {R} ^{e}}$: vector de salida
• ${\displaystyle {\hat {h}}_{t}\in \mathbb {R} ^{e}}$: vector de activación candidato
• ${\displaystyle z_{t}\in (0,1)^{e}}$: actualizar vector de puerta
• ${\displaystyle r_{t}\in (0,1)^{e}}$: vector de puerta de reinicio
• ${\displaystyle W\in \mathbb {R} ^{e\times d}}$,${\displaystyle U\in \mathbb {R} ^{e\times e}}$y${\displaystyle b\in \mathbb {R} ^{e}}$: matrices de parámetros y vector que deben aprenderse durante el entrenamiento

Funciones de activación

• ${\displaystyle \sigma }$: La original es una función logística .
• ${\displaystyle \phi }$: La original es una tangente hiperbólica .

Son posibles funciones de activación alternativas, siempre que${\displaystyle \sigma (x)\in [0,1]}$.

Se pueden crear formas alternativas cambiando${\displaystyle z_{t}}$y${\displaystyle r_{t}}$^{[ 9 ]}

• Tipo 1: cada puerta depende únicamente del estado oculto anterior y del sesgo.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma (U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma (U_{r}h_{t-1}+b_{r})\\\end{aligned}}}$

• Tipo 2: cada puerta depende únicamente del estado oculto anterior.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma (U_{z}h_{t-1})\\r_{t}&=\sigma (U_{r}h_{t-1})\\\end{aligned}}}$

• Tipo 3: cada puerta se calcula utilizando únicamente la polarización.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma (b_{z})\\r_{t}&=\sigma (b_{r})\\\end{aligned}}}$

La unidad de compuerta mínima (MGU) es similar a la unidad de compuerta completa, excepto que el vector de compuerta de actualización y reinicio se fusiona en una compuerta de olvido. Esto también implica que la ecuación para el vector de salida debe cambiarse: ^{[ 10 ]}

${\displaystyle {\begin{aligned}f_{t}&=\sigma (W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\{\hat {h}}_{t}&=\phi (W_{h}x_{t}+U_{h}(f_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-f_{t})\odot h_{t-1}+f_{t}\odot {\hat {h}}_{t}\end{aligned}}}$

Variables

• ${\displaystyle x_{t}}$: vector de entrada
• ${\displaystyle h_{t}}$: vector de salida
• ${\displaystyle {\hat {h}}_{t}}$: vector de activación candidato
• ${\displaystyle f_{t}}$: olvida el vector
• ${\displaystyle W}$,${\displaystyle U}$y${\displaystyle b}$: matrices de parámetros y vector

La unidad recurrente controlada por luz (LiGRU) ^{[ 4 ]} elimina por completo la puerta de reinicio, reemplaza tanh con la activación ReLU y aplica normalización por lotes (BN):

${\displaystyle {\begin{aligned}z_{t}&=\sigma (\operatorname {BN} (W_{z}x_{t})+U_{z}h_{t-1})\\{\tilde {h}}_{t}&=\operatorname {ReLU} (\operatorname {BN} (W_{h}x_{t})+U_{h}h_{t-1})\\h_{t}&=z_{t}\odot h_{t-1}+(1-z_{t})\odot {\tilde {h}}_{t}\end{aligned}}}$

LiGRU ha sido estudiado desde una perspectiva bayesiana. ^{[ 11 ]} Este análisis produjo una variante llamada unidad recurrente bayesiana ligera (LiBRU), que mostró ligeras mejoras sobre LiGRU en tareas de reconocimiento de voz .