Hispanopedia Wiki
Articulo de referencia

núcleo de función de base radial

En el aprendizaje automático , el núcleo de función de base radial , o núcleo RBF , es una función de núcleo popular utilizada en varios algoritmos de aprendizaje basados ​​en n...

Hispanopedia WikiContenido en espanolLectura gratuita

En el aprendizaje automático , el núcleo de función de base radial , o núcleo RBF , es una función de núcleo popular utilizada en varios algoritmos de aprendizaje basados ​​en núcleos . En particular, se usa comúnmente en la clasificación de máquinas de vectores de soporte . [ 1 ]

El núcleo RBF en dos muestrasincógnita,incógnita′∈Rk{\displaystyle \mathbf {x} ,\mathbf {x'} \in \mathbb {R} ^{k}}, representado como vectores de características en algún espacio de entrada , se define como [ 2 ]

K(incógnita,incógnita′)=exp⁡(−‖incógnita−incógnita′‖22σ2){\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp \left(-{\frac {\|\mathbf {x} -\mathbf {x'} \|^{2}}{2\sigma ^{2}}}\right)}

‖incógnita−incógnita′‖2{\displaystyle \textstyle \|\mathbf {x} -\mathbf {x'} \|^{2}}puede reconocerse como la distancia euclidiana al cuadrado entre los dos vectores de características.σ{\displaystyle \sigma }es un parámetro libre . Una definición equivalente implica un parámetro.γ=12σ2{\displaystyle \textstyle \gamma ={\tfrac {1}{2\sigma ^{2}}}}:

K(incógnita,incógnita′)=exp⁡(−γ‖incógnita−incógnita′‖2){\displaystyle K(\mathbf {x} ,\mathbf {x'} )=\exp(-\gamma \|\mathbf {x} -\mathbf {x'} \|^{2})}

Dado que el valor del núcleo RBF disminuye con la distancia y varía entre cero (en el límite de distancia infinita) y uno (cuando x = x' ), tiene una interpretación sencilla como medida de similitud . [ 2 ] El espacio de características del núcleo tiene un número infinito de dimensiones; paraσ=1{\displaystyle \sigma =1}, su expansión utilizando el teorema multinomial es: [ 3 ]

exp⁡(−12‖incógnita−incógnita′‖2)=exp⁡(22incógnita⊤incógnita′−12‖incógnita‖2−12‖incógnita′‖2)=exp⁡(incógnita⊤incógnita′)exp⁡(−12‖incógnita‖2)exp⁡(−12‖incógnita′‖2)=∑j=0∞(incógnita⊤incógnita′)jj¡exp⁡(−12‖incógnita‖2)exp⁡(−12‖incógnita′‖2)=∑j=0∞∑norte1+norte2+⋯+nortek=jexp⁡(−12‖incógnita‖2)incógnita1norte1⋯incógnitaknorteknorte1¡⋯nortek¡exp⁡(−12‖incógnita′‖2)incógnita′1norte1⋯incógnita′knorteknorte1¡⋯nortek¡=⟨φ(incógnita),φ(incógnita′)⟩{\displaystyle {\begin{alignedat}{2}\exp \left(-{\frac {1}{2}}\|\mathbf {x} -\mathbf {x'} \|^{2}\right)&=\exp \left({\frac {2}{2}}\mathbf {x} ^{\top }\mathbf {x'} -{\frac {1}{2}}\|\mathbf {x} \|^{2}-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\exp \left(\mathbf {x} ^{\top }\mathbf {x'} \right)\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\sum _{j=0}^{\infty }{\frac {(\mathbf {x} ^{\top }\mathbf {x'} )^{j}}{j!}}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right)\\[5pt]&=\sum _{j=0}^{\infty }\quad \sum _{n_{1}+n_{2}+\dots +n_{k}=j}\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right){\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\exp \left(-{\frac {1}{2}}\|\mathbf {x'} \|^{2}\right){\frac {{x'}_{1}^{n_{1}}\cdots {x'}_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\\[5pt]&=\langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle \end{alignedat}}}

φ(incógnita)=exp⁡(−12‖incógnita‖2)(aℓ0(0),a1(1),…,aℓ1(1),…,a1(j),…,aℓj(j),…){\displaystyle \varphi (\mathbf {x} )=\exp \left(-{\frac {1}{2}}\|\mathbf {x} \|^{2}\right)\left(a_{\ell _{0}}^{(0)},a_{1}^{(1)},\dots ,a_{\ell _{1}}^{(1)},\dots ,a_{1}^{(j)},\dots ,a_{\ell _{j}}^{(j)},\dots \right)} dóndeℓj=(k+j−1j){\displaystyle \ell _{j}={\tbinom {k+j-1}{j}}},aℓ(j)=incógnita1norte1⋯incógnitaknorteknorte1¡⋯nortek¡|norte1+norte2+⋯+nortek=j∧1≤ℓ≤ℓj{\displaystyle a_{\ell }^{(j)}={\frac {x_{1}^{n_{1}}\cdots x_{k}^{n_{k}}}{\sqrt {n_{1}!\cdots n_{k}!}}}\quad |\quad n_{1}+n_{2}+\dots +n_{k}=j\wedge 1\leq \ell \leq \ell _{j}}

Aproximaciones

Debido a que las máquinas de vectores de soporte y otros modelos que emplean el truco del kernel no escalan bien a grandes cantidades de muestras de entrenamiento o grandes cantidades de características en el espacio de entrada, se han introducido varias aproximaciones al kernel RBF (y kernels similares). [ 4 ] Típicamente, estas toman la forma de una función z que mapea un solo vector a un vector de mayor dimensionalidad, aproximando el kernel:

⟨z(incógnita),z(incógnita′)⟩≈⟨φ(incógnita),φ(incógnita′)⟩=K(incógnita,incógnita′){\displaystyle \langle z(\mathbf {x} ),z(\mathbf {x'} )\rangle \approx \langle \varphi (\mathbf {x} ),\varphi (\mathbf {x'} )\rangle =K(\mathbf {x} ,\mathbf {x'} )}

dóndeφ{\displaystyle \textstyle \varphi }es el mapeo implícito incrustado en el núcleo RBF.

características aleatorias de Fourier

Una forma de construir tal z es muestrear aleatoriamente de la transformada de Fourier del núcleo [ 5 ].φ(incógnita)=1D[porque⁡⟨w1,incógnita⟩,pecado⁡⟨w1,incógnita⟩,…,porque⁡⟨wD,incógnita⟩,pecado⁡⟨wD,incógnita⟩]T{\displaystyle \varphi (x)={\frac {1}{\sqrt {D}}}[\cos \langle w_{1},x\rangle ,\sin \langle w_{1},x\rangle ,\ldots ,\cos \langle w_{D},x\rangle ,\sin \langle w_{D},x\rangle ]^{T}}dóndew1,...,wD{\displaystyle w_{1},...,w_{D}}son muestras independientes de la distribución normalnorte(0,σ−2I){\displaystyle N(0,\sigma ^{-2}I)}.

Teorema:mi⁡[⟨φ(incógnita),φ(y)⟩]=mi‖incógnita−y‖2/(2σ2).{\displaystyle \operatorname {E} [\langle \varphi (x),\varphi (y)\rangle ]=e^{\|x-y\|^{2}/(2\sigma ^{2})}.}

Prueba: Basta con probar el caso deD=1{\displaystyle D=1}Utilice la identidad trigonométrica.porque⁡(a−b)=porque⁡(a)porque⁡(b)+pecado⁡(a)pecado⁡(b){\displaystyle \cos(a-b)=\cos(a)\cos(b)+\sin(a)\sin(b)}, la simetría esférica de la distribución gaussiana , luego evaluar la integral

∫−∞∞porque⁡(kincógnita)mi−incógnita2/22πdincógnita=mi−k2/2.{\displaystyle \int _{-\infty }^{\infty }{\frac {\cos(kx)e^{-x^{2}/2}}{\sqrt {2\pi }}}dx=e^{-k^{2}/2}.}

Teorema:Var⁡[⟨φ(incógnita),φ(y)⟩]=O(D−1){\displaystyle \operatorname {Var} [\langle \varphi (x),\varphi (y)\rangle ]=O(D^{-1})}. (Apéndice A.2 [ 6 ] ).

Método de Nyström

Otro enfoque utiliza el método de Nyström para aproximar la descomposición en valores propios de la matriz de Gram K , utilizando solo una muestra aleatoria del conjunto de entrenamiento . [ 7 ]

Véase también

Referencias

  1. ↑ Chang, Yin-Wen; Hsieh, Cho-Jui; Chang, Kai-Wei; Ringgaard, Michael; Lin, Chih-Jen (2010). "Entrenamiento y prueba de mapeos de datos polinomiales de bajo grado mediante SVM lineal" . Journal of Machine Learning Research . 11 : 1471–1490 .
  2. ^ Jean -Philippe Vert, Koji Tsuda y Bernhard Schölkopf (2004). "Una introducción a los métodos del kernel". Métodos kernel en biología computacional .
  3. ↑ Shashua, Amnon (2009). "Introducción al aprendizaje automático: notas de clase 67577". arXiv : 0904.3664v1 [ cs.LG ].
  4. ↑ Andreas Müller (2012). Aproximaciones de kernel para SVM eficientes (y otros métodos de extracción de características) .
  5. ↑ Rahimi, Ali; Recht, Benjamin (2007). "Características aleatorias para máquinas de núcleo a gran escala" . Avances en sistemas de procesamiento de información neuronal . 20. Curran Associates, Inc.
  6. ^ Peng, Hao; Pappas, Nikolaos; Yogatama, Dani; Schwartz, Roy; Smith, Noé A.; Kong, Lingpeng (19 de marzo de 2021). "Atención a funciones aleatorias". arXiv : 2103.02143 [ cs.CL ].
  7. ↑ CKI Williams; M. Seeger (2001). "Uso del método de Nyström para acelerar las máquinas de núcleo" . Avances en sistemas de procesamiento de información neuronal . 13 .
Lecturas relacionadas
6 articulos
Aprendizaje automáticoAprendizaje automáticoEl aprendizaje automático ( ML ) es un campo de estudio en inteligencia artificial que se ocupa del desarrollo y estudio de algoritmos estadísticos...{\textstyle \varphi}Función de base radialEn matemáticas, una función de base radial ( RBF ) es una función de valor real cuyo valor depende únicamente de la distancia entre la entrada y un...{\displaystyle {\mathcal {X}}}núcleo definido positivoEn la teoría de operadores , una rama de las matemáticas, un núcleo definido positivo es una generalización de una función definida positiva o una ...{\estilo de visualización i}Método del núcleoEn el aprendizaje automático , las máquinas kernel son una clase de algoritmos para el análisis de patrones , cuyo miembro más conocido es la máqui...{\displaystyle \operatorname {puntaje} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}Clasificación estadísticaCuando la clasificación la realiza una computadora, normalmente se utilizan métodos estadísticos para desarrollar el algoritmo.{\displaystyle \épsilon}Máquina de vectores de soporteEn aprendizaje automático , las máquinas de vectores de soporte ( SVMs , también redes de vectores de soporte [1] ) son modelos supervisados ​​de m...