Espacio de Hilbert con núcleo reproductor

En análisis funcional , un espacio de Hilbert con núcleo reproductor ( RKHS ) es un espacio de Hilbert de funciones en el que la evaluación de un punto es un funcional lineal continuo . Específicamente, un espacio de Hilbert${\displaystyle H}$de funciones de un conjunto${\displaystyle X}$(a${\displaystyle \mathbb {R} }$o${\displaystyle \mathbb {C} }$) es un RKHS si la función de evaluación de puntos${\displaystyle L_{x}:H\to \mathbb {C} }$,${\displaystyle L_{x}(f)=f(x)}$es continuo para cada${\displaystyle x\in X}$. De forma equivalente,${\displaystyle H}$es un RKHS si existe una función${\displaystyle K_{x}\in H}$de tal manera que, para todos${\displaystyle f\in H}$,$${\displaystyle \langle f,K_{x}\rangle =f(x).}$$La función${\displaystyle K_{x}}$entonces se le llama núcleo reproductor , y reproduce el valor de${\displaystyle f}$en${\displaystyle x}$a través del producto interno.

Una consecuencia inmediata de esta propiedad es que la convergencia en norma implica convergencia uniforme en cualquier subconjunto de${\displaystyle X}$en el cual${\displaystyle \|K_{x}\|}$está acotado. Sin embargo, lo contrario no necesariamente se cumple. A menudo el conjunto${\displaystyle X}$lleva una topología y${\displaystyle \|K_{x}\|}$depende continuamente de${\displaystyle x\in X}$, en cuyo caso: la convergencia en norma implica convergencia uniforme en subconjuntos compactos de${\displaystyle X}$.

No es del todo sencillo construir ejemplos naturales de un espacio de Hilbert que no sean un RKHS de manera no trivial. ^{[ 1 ]} Sin embargo, se han encontrado algunos ejemplos. ^{[ 2 ] [ 3 ]}

Si bien, formalmente, los espacios L2 se definen como espacios de Hilbert de clase de ^equivalenciaes de funciones, esta definición puede extenderse trivialmente a un espacio de Hilbert de funciones eligiendo una función (total) como representante para cada clase de equivalencia. Sin embargo, ninguna elección de representantes puede hacer de este espacio un RKHS (${\displaystyle K_{0}}$necesitaría ser la función delta de Dirac inexistente). Sin embargo, hay RKHS en los que la norma es una ^norma L2 , como el espacio de funciones de banda limitada (véase el ejemplo a continuación).

Un RKHS está asociado con un núcleo que reproduce cada función en el espacio en el sentido de que para cada${\displaystyle x}$en el conjunto en el que se definen las funciones, "evaluación en${\displaystyle x}$" se puede realizar tomando un producto interno con una función determinada por el núcleo. Dicho núcleo reproductor existe si y solo si cada funcional de evaluación es continuo.

El núcleo reproductor fue introducido por primera vez en el trabajo de Stanisław Zaremba de 1907 ^{[ 4 ]} sobre problemas de contorno para funciones armónicas y biarmónicas . James Mercer examinó simultáneamente funciones que satisfacen la propiedad de reproducción en la teoría de ecuaciones integrales . La idea del núcleo reproductor permaneció sin ser explorada durante casi veinte años hasta que apareció en las disertaciones de Gábor Szegő , Stefan Bergman y Salomon Bochner . El tema fue finalmente desarrollado sistemáticamente a principios de la década de 1950 por Nachman Aronszajn y Stefan Bergman. ^{[ 5 ]}

Estos espacios tienen amplias aplicaciones, incluyendo el análisis complejo , el análisis armónico y la mecánica cuántica . Los espacios de Hilbert con núcleo reproductor son particularmente importantes en el campo de la teoría del aprendizaje estadístico debido al célebre teorema del representante , que establece que toda función en un espacio de Hilbert con núcleo reproductor que minimiza una función de riesgo empírica puede expresarse como una combinación lineal de la función núcleo evaluada en los puntos de entrenamiento. Este es un resultado práctico, ya que simplifica eficazmente el problema de minimización del riesgo empírico, transformándolo de un problema de optimización de dimensión infinita a uno de dimensión finita.

Para facilitar la comprensión, proporcionamos el marco para los espacios de Hilbert de valores reales. La teoría se puede extender fácilmente a espacios de funciones de valores complejos y, por lo tanto, incluye los muchos ejemplos importantes de espacios de Hilbert de núcleo reproductor que son espacios de funciones analíticas . ^{[ 6 ]}

Dejar${\displaystyle X}$sea ​​un conjunto arbitrario y${\displaystyle H}$un espacio de Hilbert de funciones de valor real en${\displaystyle X}$, equipado con suma punto por punto y multiplicación escalar punto por punto . El funcional de evaluación sobre el espacio de Hilbert de funciones${\displaystyle H}$es un funcional lineal que evalúa cada función en un punto${\displaystyle x}$,

${\displaystyle L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.}$

Decimos que H es un espacio de Hilbert con núcleo reproductor si, para todo${\displaystyle x}$en${\displaystyle X}$,${\displaystyle L_{x}}$es continuo en cada${\displaystyle f}$en${\displaystyle H}$o, equivalentemente, si${\displaystyle L_{x}}$es un operador acotado en${\displaystyle H}$, es decir, existe alguna${\displaystyle M_{x}>0}$de tal manera que

A pesar de${\displaystyle M_{x}<\infty }$se asume para todos${\displaystyle x\in X}$, aún podría ser el caso que${\textstyle \sup _{x}M_{x}=\infty }$.

Mientras que la propiedad ( 1 ) es la condición más débil que garantiza tanto la existencia de un producto interno como la evaluación de cada función en${\displaystyle H}$En cada punto del dominio, no se presta a una fácil aplicación en la práctica. Una definición más intuitiva del RKHS se puede obtener observando que esta propiedad garantiza que el funcional de evaluación se puede representar tomando el producto interno de${\displaystyle f}$con una función${\displaystyle K_{x}}$en${\displaystyle H}$Esta función es el llamado núcleo reproductor para el espacio de Hilbert.${\displaystyle H}$de donde la RKHS toma su nombre. Más formalmente, el teorema de representación de Riesz implica que para todo${\displaystyle x}$en${\displaystyle X}$existe un elemento único${\displaystyle K_{x}}$de${\displaystyle H}$con la propiedad de reproducción,

Desde${\displaystyle K_{x}}$es en sí misma una función definida en${\displaystyle X}$con valores en el campo${\displaystyle \mathbb {R} }$(o${\displaystyle \mathbb {C} }$en el caso de espacios de Hilbert complejos) y como${\displaystyle K_{x}}$está en${\displaystyle H}$tenemos eso

${\displaystyle K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},}$

dónde ${\displaystyle K_{y}\in H}$es el elemento en${\displaystyle H}$asociado a${\displaystyle L_{y}}$.

Esto nos permite definir el núcleo reproductor de${\displaystyle H}$como función${\displaystyle K:X\times X\to \mathbb {R} }$(o${\displaystyle \mathbb {C} }$en el caso complejo) por

${\displaystyle K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.}$

A partir de esta definición es fácil ver que${\displaystyle K:X\times X\to \mathbb {R} }$(o${\displaystyle \mathbb {C} }$en el caso complejo) es tanto simétrica (respectivamente, simétrica conjugada) como definida positiva , es decir

${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0}$

por cada${\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .}$^{[ 7 ]} El teorema de Moore-Aronszajn (véase más abajo) es una especie de recíproco a esto: si una función${\displaystyle K}$Si se cumplen estas condiciones, entonces existe un espacio de Hilbert de funciones en${\displaystyle X}$para lo cual es un núcleo reproductor.

El ejemplo más simple de un espacio de Hilbert con núcleo reproductor es el espacio${\displaystyle L^{2}(X,\mu )}$dónde${\displaystyle X}$es un conjunto y${\displaystyle \mu }$es la medida de conteo en${\displaystyle X}$. Para${\displaystyle x\in X}$, el núcleo reproductor${\displaystyle K_{x}}$es la función indicadora del conjunto de un punto${\displaystyle \{x\}\subset X}$.

Los espacios de Hilbert con núcleo reproductor no triviales a menudo involucran funciones analíticas , como ilustraremos ahora con un ejemplo. Consideremos el espacio de Hilbert de funciones continuas de banda limitada .${\displaystyle H}$Fijar una frecuencia de corte${\displaystyle 0<a<\infty }$y definir el espacio de Hilbert

${\displaystyle H=\{f\in L^{2}(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}}$

dónde${\displaystyle L^{2}(\mathbb {R} )}$es el conjunto de funciones de cuadrado integrable, y${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$es la transformada de Fourier de${\displaystyle f}$Como producto interno, utilizamos

${\displaystyle \langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.}$

Dado que este es un subespacio cerrado de${\displaystyle L^{2}(\mathbb {R} )}$, es un espacio de Hilbert. Además, los elementos de${\displaystyle H}$son funciones suaves en${\displaystyle \mathbb {R} }$que tienden a cero en el infinito, esencialmente por el lema de Riemann-Lebesgue . De hecho, los elementos de${\displaystyle H}$son las restricciones a${\displaystyle \mathbb {R} }$de funciones holomorfas enteras , por el teorema de Paley-Wiener .

Del teorema de inversión de Fourier , tenemos

${\displaystyle f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .}$

De la desigualdad de Cauchy-Schwarz y del teorema de Plancherel se deduce entonces que, para todo${\displaystyle x}$,

${\displaystyle |f(x)|\leq {\frac {1}{2\pi }}{\sqrt {2a\int _{-a}^{a}|F(\omega )|^{2}\,d\omega }}={\frac {\sqrt {2a}}{2\pi }}{\sqrt {\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.}$

Esta desigualdad muestra que el funcional de evaluación está acotado, lo que prueba que${\displaystyle H}$Es cierto que es un RKHS.

La función kernel${\displaystyle K_{x}}$en este caso viene dado por

${\displaystyle K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.}$

La transformada de Fourier de${\displaystyle K_{x}(y)}$definido anteriormente viene dado por

${\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}}$

lo cual es consecuencia de la propiedad de desplazamiento temporal de la transformada de Fourier . En consecuencia, utilizando el teorema de Plancherel , tenemos

${\displaystyle \langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).}$

De este modo obtenemos la propiedad de reproducción del núcleo.

${\displaystyle K_{x}}$en este caso es la "versión de banda limitada" de la función delta de Dirac , y que${\displaystyle K_{x}(y)}$converge a${\displaystyle \delta (y-x)}$en el sentido débil como la frecuencia de corte${\displaystyle a}$tiende al infinito.

Hemos visto cómo un espacio de Hilbert con núcleo reproductor define una función de núcleo reproductor que es simétrica y definida positiva . El teorema de Moore-Aronszajn va en la dirección opuesta; afirma que todo núcleo simétrico y definido positivo define un único espacio de Hilbert con núcleo reproductor. El teorema apareció por primera vez en la obra de Aronszajn, * Theory of Reproducing Kernels* , aunque él se lo atribuye a E.H. Moore .

Teorema . Supongamos que K es un núcleo simétrico y definido positivo en un conjunto X. Entonces existe un único espacio de Hilbert de funciones en X para el cual K es un núcleo reproductor.

Demostración . Para todo x en X , definimos K _x = K ( x , ⋅ ). Sea H ₀ el espacio vectorial generado por { K _x  : x ∈ X }. Definimos un producto interno en H ₀ mediante

${\displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),}$

lo cual implica${\displaystyle K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}}$La simetría de este producto interno se deriva de la simetría de K y la no degeneración se deriva del hecho de que K es definida positiva.

Sea H la completación de H ₀ con respecto a este producto interno. Entonces H consta de funciones de la forma

${\displaystyle f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.}$

Ahora podemos comprobar la propiedad de reproducción ( 2 ):

${\displaystyle \langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).}$

Para demostrar la unicidad, sea G otro espacio de Hilbert de funciones para el cual K es un núcleo reproductor. Para cada x e y en X , ( 2 ) implica que

${\displaystyle \langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.}$

Por linealidad,${\displaystyle \langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}}$en el lapso de${\displaystyle \{K_{x}:x\in X\}}$. Entonces${\displaystyle H\subset G}$porque G es completo y contiene H ₀ y por lo tanto contiene su completitud.

Ahora necesitamos demostrar que cada elemento de G está en H. Sea${\displaystyle f}$Sea H un elemento de G. Dado que H es un subespacio cerrado de G , podemos escribir${\displaystyle f=f_{H}+f_{H^{\bot }}}$dónde${\displaystyle f_{H}\in H}$y${\displaystyle f_{H^{\bot }}\in H^{\bot }}$Ahora bien, si${\displaystyle x\in X}$entonces, puesto que K es un núcleo reproductor de G y H :

${\displaystyle f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),}$

donde hemos utilizado el hecho de que${\displaystyle K_{x}}$pertenece a H de modo que su producto interno con${\displaystyle f_{H^{\bot }}}$en G es cero. Esto demuestra que${\displaystyle f=f_{H}}$en G y concluye la demostración.

Podemos caracterizar un núcleo simétrico definido positivo.${\displaystyle K}$mediante el operador integral utilizando el teorema de Mercer y obtener una vista adicional del RKHS. Sea${\displaystyle X}$ser un espacio compacto equipado con una medida de Borel finita estrictamente positiva${\displaystyle \mu }$y${\displaystyle K:X\times X\to \mathbb {R} }$una función continua, simétrica y definida positiva. Defina el operador integral.${\displaystyle T_{K}:L_{2}(X)\to L_{2}(X)}$como

${\displaystyle [T_{K}f](\cdot )=\int _{X}K({}\cdot {},t)f(t)\,d\mu (t)}$

dónde${\displaystyle L_{2}(X)}$es el espacio de funciones de cuadrado integrable con respecto a${\displaystyle \mu }$.

El teorema de Mercer establece que la descomposición espectral del operador integral${\displaystyle T_{K}}$de${\displaystyle K}$produce una representación en serie de${\displaystyle K}$en términos de los autovalores y autofunciones de${\displaystyle T_{K}}$Esto implica entonces que${\displaystyle K}$es un núcleo reproductor, de modo que el RKHS correspondiente se puede definir en términos de estos autovalores y autofunciones. A continuación, proporcionamos los detalles.

Bajo estos supuestos${\displaystyle T_{K}}$es un operador compacto, continuo, autoadjunto y positivo . El teorema espectral para operadores autoadjuntos implica que existe una secuencia decreciente como máximo numerable.${\displaystyle (\sigma _{i})_{i\geq 0}}$de tal manera que${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$y ${\displaystyle T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)}$, donde el${\displaystyle \{\varphi _{i}\}}$formar una base ortonormal de${\displaystyle L_{2}(X)}$. Por la positividad de${\displaystyle T_{K},\sigma _{i}>0}$a pesar de${\displaystyle i.}$También se puede demostrar que${\displaystyle T_{K}}$mapea continuamente en el espacio de funciones continuas${\displaystyle C(X)}$y por lo tanto podemos elegir funciones continuas como vectores propios, es decir,${\displaystyle \varphi _{i}\in C(X)}$a pesar de${\displaystyle i.}$Entonces, por el teorema de Mercer ${\displaystyle K}$puede escribirse en términos de los autovalores y las autofunciones continuas como

${\displaystyle K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)}$

a pesar de${\displaystyle x,y\in X}$de tal manera que

${\displaystyle \lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.}$

Esta representación en serie anterior se denomina núcleo de Mercer o representación de Mercer.${\displaystyle K}$.

Además, se puede demostrar que el RKHS${\displaystyle H}$de${\displaystyle K}$es dado por

${\displaystyle H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}}$

donde el producto interno de${\displaystyle H}$dado por

${\displaystyle \left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.}$

Esta representación del RKHS tiene aplicaciones en probabilidad y estadística, por ejemplo, en la representación de Karhunen-Loève para procesos estocásticos y en el PCA de kernel .

Un mapa de características es un mapa${\displaystyle \varphi \colon X\rightarrow F}$, dónde${\displaystyle F}$es un espacio de Hilbert que llamaremos espacio de características. Las primeras secciones presentaron la conexión entre funciones de evaluación acotadas/continuas, funciones definidas positivas y operadores integrales, y en esta sección proporcionamos otra representación del RKHS en términos de mapas de características.

Cada mapa de características define un núcleo mediante

Claramente${\displaystyle K}$es simétrico y la definición positiva se deduce de las propiedades del producto interno en${\displaystyle F}$. Por el contrario, toda función definida positiva y su correspondiente espacio de Hilbert con núcleo reproductor tiene infinitos mapas de características asociados tales que ( 3 ) se cumple.

Por ejemplo, podemos tomar trivialmente${\displaystyle F=H}$y${\displaystyle \varphi (x)=K_{x}}$a pesar de${\displaystyle x\in X}$Entonces ( 3 ) se satisface por la propiedad de reproducción. Otro ejemplo clásico de un mapa de características se relaciona con la sección anterior sobre operadores integrales al tomar${\displaystyle F=\ell ^{2}}$y${\displaystyle \varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}}$.

Esta conexión entre núcleos y mapas de características nos proporciona una nueva forma de entender las funciones definidas positivas y, por lo tanto, de reproducir núcleos como productos internos en${\displaystyle H}$Además, cada mapa de características puede definir naturalmente un RKHS mediante la definición de una función definida positiva.

Por último, los mapas de características nos permiten construir espacios de funciones que revelan otra perspectiva sobre el RKHS. Consideremos el espacio lineal.

${\displaystyle H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

Podemos definir una norma sobre${\displaystyle H_{\varphi }}$ por

${\displaystyle \|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

Se puede demostrar que${\displaystyle H_{\varphi }}$es un RKHS con núcleo definido por${\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}}$Esta representación implica que los elementos del RKHS son productos internos de elementos en el espacio de características y, por lo tanto, pueden verse como hiperplanos. Esta visión del RKHS está relacionada con el truco del kernel en el aprendizaje automático. ^{[ 8 ]}

Propiedades útiles de los RKHS:

• Dejar${\displaystyle (X_{i})_{i=1}^{p}}$ser una secuencia de conjuntos y${\displaystyle (K_{i})_{i=1}^{p}}$sea ​​una colección de funciones definidas positivas correspondientes en${\displaystyle (X_{i})_{i=1}^{p}.}$De ello se deduce que

  ${\displaystyle K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})}$

  es un kernel en${\displaystyle X=X_{1}\times \dots \times X_{p}.}$

• Dejar${\displaystyle X_{0}\subset X,}$entonces la restricción de${\displaystyle K}$a${\displaystyle X_{0}\times X_{0}}$También es un núcleo reproductor.
• Consideremos un núcleo normalizado.${\displaystyle K}$de tal manera que${\displaystyle K(x,x)=1}$a pesar de${\displaystyle x\in X}$. Definimos una pseudométrica en X como

  ${\displaystyle d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.}$

  Por la desigualdad de Cauchy-Schwarz ,

  ${\displaystyle K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.}$

  Esta desigualdad nos permite ver${\displaystyle K}$como medida de similitud entre entradas. Si${\displaystyle x,y\in X}$son similares entonces${\displaystyle K(x,y)}$estará más cerca de 1 mientras que si${\displaystyle x,y\in X}$son diferentes entonces${\displaystyle K(x,y)}$estará más cerca de 0.

• El cierre del tramo de${\displaystyle \{K_{x}\mid x\in X\}}$coincide con${\displaystyle H}$. ^{[ 9 ]}

En esta sección extendemos la definición del RKHS a espacios de funciones con valores vectoriales, ya que esta extensión es particularmente importante en el aprendizaje multitarea y la regularización de variedades . La principal diferencia radica en el núcleo reproductor.${\displaystyle \Gamma }$es una función simétrica que ahora es una matriz semidefinida positiva para cada${\displaystyle x,y}$en${\displaystyle X}$. De manera más formal, definimos un RKHS con valores vectoriales (vvRKHS) como un espacio de Hilbert de funciones${\displaystyle f:X\to \mathbb {R} ^{T}}$de tal manera que para todos${\displaystyle c\in \mathbb {R} ^{T}}$y${\displaystyle x\in X}$

${\displaystyle \Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X}$

y

${\displaystyle \langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.}$

Esta segunda propiedad es paralela a la propiedad de reproducción para el caso escalar. Esta definición también se puede conectar con operadores integrales, funciones de evaluación acotadas y mapas de características, como vimos para el RKHS escalar. Podemos definir equivalentemente el vvRKHS como un espacio de Hilbert vectorial con un funcional de evaluación acotado y demostrar que esto implica la existencia de un núcleo reproductor único por el teorema de representación de Riesz. El teorema de Mercer también se puede extender para abordar el entorno vectorial y, por lo tanto, podemos obtener una vista de mapa de características del vvRKHS. Por último, también se puede demostrar que el cierre del espacio generado por${\displaystyle \{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}}$coincide con${\displaystyle H}$, otra propiedad similar al caso de valores escalares.

Podemos obtener intuición sobre el vvRKHS adoptando una perspectiva componente a componente sobre estos espacios. En particular, encontramos que todo vvRKHS es isométricamente isomorfo a un RKHS escalar en un espacio de entrada particular. Sea${\displaystyle \Lambda =\{1,\dots ,T\}}$. Considere el espacio${\displaystyle X\times \Lambda }$y el núcleo reproductor correspondiente

Como se indicó anteriormente, el RKHS asociado a este núcleo reproductor viene dado por el cierre del intervalo de${\displaystyle \{\gamma _{(x,t)}:x\in X,t\in \Lambda \}}$dónde ${\displaystyle \gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))}$para cada conjunto de pares${\displaystyle (x,t),(y,s)\in X\times \Lambda }$.

La conexión con el RKHS de valores escalares se puede establecer mediante el hecho de que cada núcleo de valores matriciales se puede identificar con un núcleo de la forma de ( 4 ) a través de

${\displaystyle \Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).}$

Además, cada núcleo con la forma de ( 4 ) define un núcleo con valores matriciales con la expresión anterior. Ahora, dejando el mapa${\displaystyle D:H_{\Gamma }\to H_{\gamma }}$ser definido como

${\displaystyle (Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}}$

dónde${\displaystyle e_{t}}$es el${\displaystyle t^{\text{th}}}$componente de la base canónica para${\displaystyle \mathbb {R} ^{T}}$, se puede demostrar que${\displaystyle D}$es biyectiva y una isometría entre${\displaystyle H_{\Gamma }}$y${\displaystyle H_{\gamma }}$.

Si bien esta perspectiva del vvRKHS puede ser útil en el aprendizaje multitarea, esta isometría no reduce el estudio del caso vectorial al caso escalar. De hecho, este procedimiento de isometría puede dificultar demasiado el trabajo práctico tanto con el núcleo escalar como con el espacio de entrada, ya que a menudo se pierden propiedades de los núcleos originales. ^{[ 12 ] [ 13 ] [ 14 ]}

Una clase importante de núcleos reproductores con valores matriciales son los núcleos separables que pueden factorizarse como el producto de un núcleo con valores escalares y un${\displaystyle T}$Matriz simétrica semidefinida positiva de dimensión . En vista de nuestra discusión anterior, estos núcleos son de la forma

${\displaystyle \gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)}$

a pesar de${\displaystyle x,y}$en${\displaystyle X}$y${\displaystyle t,s}$en${\displaystyle T}$Así como el núcleo escalar codifica las dependencias entre las entradas, podemos observar que el núcleo matricial codifica las dependencias tanto entre las entradas como entre las salidas.

Por último, cabe señalar que la teoría anterior puede extenderse a espacios de funciones con valores en espacios de funciones, pero obtener núcleos para estos espacios es una tarea más difícil. ^{[ 15 ]}

La función ReLU se define comúnmente como${\displaystyle f(x)=\max\{0,x\}}$y es un elemento fundamental en la arquitectura de las redes neuronales, donde se utiliza como función de activación. Se puede construir una función no lineal similar a ReLU utilizando la teoría de los espacios de Hilbert con núcleo reproductor. A continuación, derivamos esta construcción y mostramos cómo implica el poder de representación de las redes neuronales con activaciones ReLU.

Trabajaremos con el espacio de Hilbert.${\displaystyle {\mathcal {H}}=L_{2}^{1}(0)[0,\infty )}$de funciones absolutamente continuas con${\displaystyle f(0)=0}$y de cuadrado integrable (es decir,${\displaystyle L_{2}}$) derivado. Tiene el producto interno

${\displaystyle \langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.}$

Para construir el núcleo reproductor basta con considerar un subespacio denso, así que sea${\displaystyle f\in C^{1}[0,\infty )}$y${\displaystyle f(0)=0}$El Teorema Fundamental del Cálculo entonces da

${\displaystyle f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle }$

dónde

${\displaystyle G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}}$

y${\displaystyle K_{y}'(x)=G(x,y),\ K_{y}(0)=0}$es decir

${\displaystyle K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)}$

Esto implica${\displaystyle K_{y}=K(\cdot ,y)}$reproduce${\displaystyle f}$.

Además, la función mínima en${\displaystyle X\times X=[0,\infty )\times [0,\infty )}$tiene las siguientes representaciones con la función ReLU:

${\displaystyle \min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).}$

Utilizando esta formulación, podemos aplicar el teorema del representante al RKHS, lo que permite demostrar la optimalidad del uso de activaciones ReLU en entornos de redes neuronales.

• núcleo definido positivo
• Teorema de Mercer
• Truco del kernel
• Incrustación de núcleos de distribuciones
• Teorema del representante

• Álvarez, Mauricio, Rosasco, Lorenzo y Lawrence, Neil, “Núcleos para funciones con valores vectoriales: una revisión”, https://arxiv.org/abs/1106.6251 , junio de 2011.
• Aronszajn, Nachman (1950). "Teoría de los núcleos reproductores" . Transactions of the American Mathematical Society . 68 (3): 337– 404. Bibcode : 1950TAMS...68..337A . doi : 10.1090/S0002-9947-1950-0051437-7 . JSTOR 1990404. MR 0051437 .  
• Berlinet, Alain y Thomas, Christine. Espacios de Hilbert con núcleo reproductor en Probabilidad y Estadística , Kluwer Academic Publishers, 2004.
• Cucker, Felipe; Smale, Steve (2002). "Sobre los fundamentos matemáticos del aprendizaje" . Boletín de la Sociedad Matemática Americana . 39 (1): 1– 49. doi : 10.1090/S0273-0979-01-00923-5 . MR 1864085 . 
• De Vito, Ernest, Umanita, Veronica y Villa, Silvia. "Una extensión del teorema de Mercer a núcleos medibles con valores vectoriales", arXiv : 1110.4017 , junio de 2013.
• Durrett, Greg. Apuntes del curso 9.520, Instituto Tecnológico de Massachusetts, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf , febrero de 2010.
• Kimeldorf, George; Wahba, Grace (1971). "Algunos resultados sobre funciones spline de Chebyshev" (PDF) . Journal of Mathematical Analysis and Applications . 33 (1): 82– 95. Bibcode : 1971JMAA...33...82K . doi : 10.1016/0022-247X(71)90184-3 . MR 0290013 . 
• Okutmustur, Baver. “Espacios de Hilbert con núcleo reproductor”, tesis de maestría, Universidad de Bilkent, https://users.metu.edu.tr/baver/MS.Thesis.pdf , agosto de 2005.
• Paulsen, Vern. “Una introducción a la teoría de los espacios de Hilbert con núcleo reproductor”, https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=440218056738e05b5ab43679f932a9f33fccee87 .
• Steinwart, Ingo; Scovel, Clint (2012). "Teorema de Mercer sobre dominios generales: Sobre la interacción entre medidas, núcleos y RKHS". Constr . Approx . 35 (3): 363– 417. doi : 10.1007/s00365-012-9153-3 . MR 2914365. S2CID 253885172 .  
• Rosasco, Lorenzo y Poggio, Thomas. "Un recorrido por la regularización en el aprendizaje automático: apuntes de clase del MIT 9.520". Manuscrito, diciembre de 2014.
• Wahba, Grace , Modelos de splines para datos observacionales , SIAM , 1990.
• Zhang, Haizhang; Xu, Yuesheng; Zhang, Qinghui (2012). "Refinamiento de núcleos reproductores con valores de operador" (PDF) . Journal of Machine Learning Research . 13 : 91–136 .