Red de funciones de base hiperbólica

En el aprendizaje automático , una red de función de base hiperbásica , o red HyperBF , es una generalización del concepto de redes de función de base radial (RBF) , donde se utiliza la distancia similar a Mahalanobis en lugar de la medida de distancia euclidiana. Las redes de función de base hiperbásica fueron introducidas por primera vez por Poggio y Girosi en el artículo de 1990 “Redes para aproximación y aprendizaje”. ^{[1] [2]}

La estructura típica de la red HyperBF consta de un vector de entrada real , una capa oculta de funciones de activación y una capa de salida lineal. La salida de la red es una función escalar del vector de entrada, , que se expresa mediante ${\displaystyle x\in \mathbb {R} ^{n}}$${\displaystyle \phi :\mathbb {R} ^{n}\to \mathbb {R} }$

${\displaystyle \phi (x)=\sum _{j=1}^{N}a_{j}\rho _{j}(||x-\mu _{j}||)}$

donde es un número de neuronas en la capa oculta, y son el centro y el peso de la neurona . La función de activación en la red HyperBF toma la siguiente forma ${\estilo de visualización N}$${\displaystyle \mu_{j}}$$Estilo de visualización a_ {j}}$${\estilo de visualización j}$ ${\displaystyle \rho_{j}(||x-\mu_{j}||)}$

${\displaystyle \rho_{j}(||x-\mu_{j}||)=e^{(x-\mu_{j})^{T}R_{j}(x-\mu_{j})}}$

donde es una matriz definida positiva . Dependiendo de la aplicación, se suelen considerar los siguientes tipos de matrices ^[3]$Estilo de visualización R_{j}}$${\displaystyle d\times d}$$Estilo de visualización R_{j}}$

• ${\displaystyle R_{j}={\frac {1}{2\sigma ^{2}}}\mathbb {I} _{d\times d}}$, donde . Este caso corresponde a la red RBF regular.${\displaystyle \sigma >0}$
• ${\displaystyle R_{j}={\frac {1}{2\sigma _{j}^{2}}}\mathbb {I} _{d\times d}}$, donde . En este caso, las funciones base son radialmente simétricas, pero están escaladas con diferente ancho.${\displaystyle \sigma _{j}>0}$
• ${\displaystyle R_{j}=diag({\frac {1}{2\sigma _{j1}^{2}}},...,{\frac {1}{2\sigma _{jz}^{2}}}\right)\mathbb {I} _{d\times d}}$, donde . Cada neurona tiene una forma elíptica con un tamaño variable.${\displaystyle \sigma _ {ji}>0}$
• Matriz definida positiva, pero no diagonal.

El entrenamiento de redes HyperBF implica la estimación de pesos , formas y centros de neuronas y . Poggio y Girosi (1990) describen el método de entrenamiento con centros móviles y formas de neuronas adaptables. A continuación se ofrece un esquema del método. $Estilo de visualización a_ {j}}$$Estilo de visualización R_{j}}$${\displaystyle \mu_{j}}$

Considere la pérdida cuadrática de la red . Las siguientes condiciones deben cumplirse en el estado óptimo: ${\displaystyle H[\phi ^{*}]=\sum _{i=1}^{N}(y_{i}-\phi ^{*}(x_{i}))^{2}}$

${\displaystyle {\frac {\parcial H(\phi ^{*})}{\parcial a_{j}}}=0}$, ,${\displaystyle {\frac {\parcial H(\phi ^{*})}{\parcial \mu _{j}}}=0}$${\displaystyle {\frac {\partial H(\phi ^{*})}{\partial W}}=0}$

donde . Entonces, en el método de descenso de gradiente, los valores de que se minimizan se pueden encontrar como un punto fijo estable del siguiente sistema dinámico: ${\displaystyle R_{j}=W^{T}W}$${\displaystyle a_{j},\mu _{j},W}$${\displaystyle H[\phi ^{*}]}$

${\displaystyle {\dot {a_{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial a_{j}}}}$, ,${\displaystyle {\dot {\mu _{j}}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial \mu _{j}}}}$${\displaystyle {\dot {W}}=-\omega {\frac {\partial H(\phi ^{*})}{\partial W}}}$

donde determina la tasa de convergencia. ${\estilo de visualización \omega}$

En general, el entrenamiento de redes HyperBF puede ser un desafío computacional. Además, el alto grado de libertad de HyperBF conduce a un sobreajuste y una generalización deficiente. Sin embargo, las redes HyperBF tienen una ventaja importante: una pequeña cantidad de neuronas es suficiente para aprender funciones complejas. ^[2]