Hispanopedia Wiki
Articulo de referencia

Teorema de aproximación universal

En el campo del aprendizaje automático , los teoremas de aproximación universal ( TAU ) establecen que las redes neuronales con una estructura determinada pueden, en principio, ...

Hispanopedia WikiContenido en espanolLectura gratuita

En el campo del aprendizaje automático , los teoremas de aproximación universal ( TAU ) establecen que las redes neuronales con una estructura determinada pueden, en principio, aproximar cualquier función continua con el grado de precisión deseado. Estos teoremas proporcionan una justificación matemática para el uso de redes neuronales, asegurando a los investigadores que una red suficientemente grande o profunda puede modelar las relaciones complejas y no lineales que suelen encontrarse en los datos del mundo real. [ 1 ] [ 2 ]

La versión más conocida del teorema se aplica a redes neuronales de propagación directa con una sola capa oculta. Establece que si la función de activación de la capa no es polinómica (lo cual se cumple para opciones comunes como la función sigmoide o ReLU ), entonces la red puede actuar como un "aproximador universal". La universalidad se logra aumentando el número de neuronas en la capa oculta, lo que hace que la red sea "más ancha". Otras versiones del teorema muestran que la universalidad también se puede lograr manteniendo fijo el ancho de la red pero aumentando su número de capas, lo que la hace "más profunda".

Estos son teoremas de existencia . Garantizan la existencia de una red con la estructura adecuada , pero no proporcionan un método para hallar sus parámetros ( entrenarla ), ni especifican el tamaño exacto que debe tener la red para una función dada. Encontrar una red adecuada sigue siendo un reto práctico que generalmente se aborda con algoritmos de optimización como la retropropagación .

Configuración

Las redes neuronales artificiales son combinaciones de múltiples funciones matemáticas simples que implementan funciones más complejas, generalmente de vectores reales a vectores reales. Los espacios de funciones multivariadas que puede implementar una red están determinados por la estructura de la red, el conjunto de funciones simples y sus parámetros multiplicativos. Se ha dedicado un gran esfuerzo teórico a caracterizar estos espacios de funciones.

La mayoría de los teoremas de aproximación universales se clasifican en dos categorías. La primera cuantifica la capacidad de aproximación de las redes neuronales con un número arbitrario de neuronas artificiales (caso de " ancho arbitrario "), y la segunda se centra en el caso con un número arbitrario de capas ocultas, cada una con un número limitado de neuronas artificiales (caso de " profundidad arbitraria "). Además de estas dos categorías, también existen teoremas de aproximación universales para redes neuronales con un número limitado de capas ocultas y un número limitado de neuronas en cada capa (caso de " profundidad y ancho limitados ").

Historia

Ancho arbitrario

Los primeros resultados se referían al caso de ancho arbitrario .

En mayo de 1988, Ken-ichi Funahashi publicó el Informe Técnico de la ATR sobre la Realización Aproximada de Mapeos Continuos mediante Redes Neuronales [ 3 ] . En este informe, reinterpretó el teorema de Kolmogorov-Arnold-Sprecher desde la perspectiva de las redes neuronales y demostró que la red neuronal de cuatro capas propuesta por Rumelhart, Hinton y Williams [ 4 ] , con funciones de activación sigmoide en sus capas ocultas, puede aproximar mapeos continuos arbitrarios con cualquier grado de precisión deseado. Además, introdujo el concepto de funciones tipo sigmoide, una generalización de las funciones de activación sigmoide, y demostró que la misma propiedad de aproximación se mantiene para esta clase más amplia. El resultado también se extendió a mapeos de múltiples salidas. El informe citó adicionalmente el trabajo de reconocimiento de voz de Waibel et al. [ 4 ] como una aplicación contemporánea de las redes neuronales.

En mayo de 1989, partiendo de la fórmula de representación integral propuesta por Irie y Miyake [ 5 ] , Funahashi demostró que una red neuronal de alimentación directa de tres capas (es decir, una red con una sola capa oculta), utilizando funciones de activación sigmoide en la capa oculta y funciones de activación lineal en las capas de entrada y salida, puede aproximar mapeos continuos arbitrarios con precisión arbitraria en la topología de convergencia uniforme [ 6 ] . Además, demostró por inducción matemática que la misma propiedad de aproximación se cumple para redes neuronales de alimentación directa de (k) capas arbitrarias.k≥3{\displaystyle k\geq 3}También señaló que, si bien una sola capa oculta es teóricamente suficiente para una aproximación universal, las redes más profundas pueden lograr las mismas correspondencias con menos unidades ocultas, identificando esto como un tema importante para futuras investigaciones.

En julio de 1989, Kurt Hornik , Maxwell Stinchcombe y Halbert White [ 1 ] generalizaron la clase de funciones de activación consideradas por Funahashi para incluir funciones de activación no acotadas, no monótonas, discontinuas y medibles, y presentaron una prueba alternativa basada en el teorema de Stone-Weierstrass.

En diciembre de 1989, George Cybenko hizo referencia a los trabajos de Funahashi y Hornik y presentó una demostración general basada en el teorema de Hahn-Banach y el teorema de representación de Riesz. También introdujo el concepto de función discriminativa, proporcionando un marco teórico más amplio para las funciones de activación de tipo sigmoide. [ 7 ] En conjunto, estos resultados establecieron la capacidad de aproximación universal de las redes neuronales de propagación directa.

Hornik también demostró en 1991 [ 8 ] que no es la elección específica de la función de activación, sino la propia arquitectura multicapa de propagación directa, lo que confiere a las redes neuronales el potencial de ser aproximadores universales. Moshe Leshno et al. en 1993 [ 9 ] y posteriormente Allan Pinkus en 1999 [ 10 ] demostraron que la propiedad de aproximación universal es equivalente a tener una función de activación no polinómica.

Profundidad arbitraria

El caso de profundidad arbitraria también fue estudiado por varios autores como Gustaf Gripenberg en 2003, [ 11 ] Dmitry Yarotsky, [ 12 ] Zhou Lu et al en 2017, [ 13 ] Boris Hanin y Mark Sellke en 2018 [ 14 ] quienes se centraron en redes neuronales con función de activación ReLU. En 2020, Patrick Kidger y Terry Lyons [ 15 ] extendieron esos resultados a redes neuronales con funciones de activación generales como, por ejemplo, tanh o GeLU.

Un caso especial de profundidad arbitraria es que cada componente de composición proviene de un conjunto finito de mapeos. En 2024, Cai [ 16 ] construyó un conjunto finito de mapeos, denominado vocabulario, de tal manera que cualquier función continua puede aproximarse mediante la composición de una secuencia de dicho vocabulario. Esto es similar al concepto de composicionalidad en lingüística, que postula que un vocabulario finito de elementos básicos puede combinarse mediante gramática para expresar una gama infinita de significados.

Profundidad y anchura limitadas.

El caso de profundidad y anchura limitadas fue estudiado por primera vez por Maiorov y Pinkus en 1999. [ 17 ] Demostraron que existe una función de activación sigmoidal analítica tal que las redes neuronales de dos capas ocultas con un número limitado de unidades en las capas ocultas son aproximadores universales.

En 2018, Guliyev e Ismailov [ 18 ] construyeron una función de activación sigmoidal suave que proporciona una propiedad de aproximación universal para redes neuronales de alimentación directa con dos capas ocultas y un número reducido de unidades en dichas capas. Ese mismo año, también construyeron [ 19 ] redes de una sola capa oculta con ancho limitado que siguen siendo aproximadores universales para funciones univariadas. Sin embargo, esto no se aplica a funciones multivariadas.

En 2022, Shen et al. [ 20 ] obtuvieron información cuantitativa precisa sobre la profundidad y el ancho necesarios para aproximar una función objetivo mediante redes neuronales ReLU profundas y anchas.

Límites cuantitativos

La cuestión del ancho mínimo posible para la universalidad se estudió por primera vez en 2021. Park et al. obtuvieron el ancho mínimo requerido para la aproximación universal de funciones L p utilizando redes neuronales de alimentación directa con ReLU como funciones de activación. [ 21 ] Resultados similares que pueden aplicarse directamente a redes neuronales residuales también fueron obtenidos ese mismo año por Paulo Tabuada y Bahman Gharesifard utilizando argumentos de teoría de control . [ 22 ] [ 23 ] En 2023, Cai obtuvo el límite óptimo de ancho mínimo para la aproximación universal. [ 24 ]

Para el caso de profundidad arbitraria, Leonie Papon y Anastasis Kratsios derivaron estimaciones explícitas de profundidad que dependen de la regularidad de la función objetivo y de la función de activación. [ 25 ]

Red de Kolmogorov

El teorema de representación de Kolmogorov-Arnold es similar en esencia. De hecho, ciertas familias de redes neuronales pueden aplicar directamente el teorema de Kolmogorov-Arnold para obtener un teorema de aproximación universal. Robert Hecht-Nielsen demostró que una red neuronal de tres capas puede aproximar cualquier función multivariada continua. [ 26 ] Esto fue extendido al caso discontinuo por Vugar Ismailov. [ 27 ] En 2024, Ziming Liu y sus coautores mostraron una aplicación práctica. [ 28 ]

Computación de reservorio y computación de reservorio cuántico

En la computación de reservorio, una red neuronal recurrente dispersa con pesos fijos, equipada con memoria decreciente y propiedad de estado de eco, va seguida de una capa de salida entrenable. Su universalidad se ha demostrado por separado para redes de neuronas de tasa [ 29 ] y neuronas de picos, respectivamente. [ 30 ] En 2024, el marco se generalizó y extendió a reservorios cuánticos, donde el reservorio se basa en cúbits definidos sobre espacios de Hilbert. [ 31 ]

Variantes

Las variantes incluyen funciones de activación discontinuas, [ 9 ] dominios no compactos, [ 15 ] [ 32 ] redes certificables, [ 33 ] redes neuronales aleatorias, [ 34 ] y arquitecturas y topologías de red alternativas. [ 15 ] [ 35 ]

La propiedad de aproximación universal de redes con ancho acotado se ha estudiado como dual de los resultados clásicos de aproximación universal en redes con profundidad acotada. Para la dimensión de entradadincógnita{\displaystyle d_{x}}y dimensión de salidady{\displaystyle d_{y}}El ancho mínimo requerido para la aproximación universal de las funciones L p es exactamentemetroaincógnita{dincógnita+1,dy}{\displaystyle max\{d_{x}+1,d_{y}\}}(para una red ReLU). De manera más general, esto también se cumple si se utilizan tanto ReLU como una función de activación de umbral . [ 21 ]

La aproximación de funciones universales en grafos (o más bien en clases de isomorfismo de grafos ) mediante redes neuronales convolucionales de grafos populares (GCN o GNN) puede hacerse tan discriminativa como la prueba de isomorfismo de grafos de Weisfeiler-Leman. [ 36 ] En 2020, [ 37 ] Brüel-Gabrielsson estableció un resultado de teorema de aproximación universal, que muestra que la representación de grafos con ciertas propiedades inyectivas es suficiente para la aproximación de funciones universales en grafos acotados y la aproximación de funciones universales restringidas en grafos no acotados, con un acompañanteO(|V|⋅|mi|){\displaystyle {\mathcal {O}}(\left|V\right|\cdot \left|E\right|)}-método de tiempo de ejecución que se desempeñó a la vanguardia en una colección de puntos de referencia (dondeV{\displaystyle V}ymi{\displaystyle E}son los conjuntos de nodos y aristas del grafo, respectivamente).

También existen diversos resultados entre espacios no euclidianos [ 38 ] y otras arquitecturas de uso común y, más generalmente, conjuntos de funciones generados algorítmicamente, como la arquitectura de red neuronal convolucional (CNN) [ 39 ] [ 40 ] , funciones de base radial [ 41 ] o redes neuronales con propiedades específicas [ 42 ] [ 43 ] .

Caso de ancho arbitrario

Un teorema de aproximación universal establece formalmente que una familia de funciones de redes neuronales es un conjunto denso dentro de un espacio más amplio de funciones que pretenden aproximar. En términos más directos, para cualquier funciónF{\displaystyle f}A partir de un espacio de funciones dado, existe una secuencia de redes neuronales.ϕ1,ϕ2,…{\displaystyle \phi _{1},\phi _{2},\dots }de la familia, de tal manera queϕnorte→F{\displaystyle \phi _{n}\a f}según algún criterio. [ 7 ] [ 1 ]

Una serie de artículos publicados entre 1980 y 1990 por George Cybenko y Kurt Hornik, entre otros, establecieron varios teoremas de aproximación universales para ancho arbitrario y profundidad acotada. [ 44 ] [ 1 ] [ 7 ] [ 8 ] Véanse [ 45 ] [ 46 ] [ 10 ] para revisiones. El siguiente es el más citado:

Teorema de aproximación universal — Seado(incógnita,Rmetro){\displaystyle C(X,\mathbb {R} ^{m})}denotamos el conjunto de funciones continuas de un subconjuntoincógnita{\displaystyle X}de un euclidianoRnorte{\displaystyle \mathbb {R} ^{n}}espacio a un espacio euclidianoRmetro{\displaystyle \mathbb {R} ^{m}}. Dejarσ∈do(R,R){\displaystyle \sigma \in C(\mathbb {R} ,\mathbb {R} )}. Tenga en cuenta que(σ∘incógnita)i=σ(incógnitai){\displaystyle (\sigma \circ x)_{i}=\sigma (x_{i})}, entoncesσ∘incógnita{\displaystyle \sigma \circ x}denotaσ{\displaystyle \sigma }aplicado a cada componente deincógnita{\displaystyle x}.

Entoncesσ{\displaystyle \sigma }no es polinomial si y solo si para cadanorte∈norte{\displaystyle n\in \mathbb {N} },metro∈norte{\displaystyle m\in \mathbb {N} }, compactoK⊆Rnorte{\displaystyle K\subseteq \mathbb {R} ^{n}},F∈do(K,Rmetro),ε>0{\displaystyle f\in C(K,\mathbb {R} ^{m}),\varepsilon >0}existenk∈norte{\displaystyle k\in \mathbb {N} },A∈Rk×norte{\displaystyle A\in \mathbb {R} ^{k\times n}},b∈Rk{\displaystyle b\in \mathbb {R} ^{k}},do∈Rmetro×k{\displaystyle C\in \mathbb {R} ^{m\times k}}de tal manera que sorberincógnita∈K‖F(incógnita)−gramo(incógnita)‖<ε{\displaystyle \sup _{x\in K}\|f(x)-g(x)\|<\varepsilon } dónde gramo(incógnita)=do⋅(σ∘(A⋅incógnita+b)){\displaystyle g(x)=C\cdot (\sigma \circ (A\cdot x+b))}

Además, ciertas funciones de activación no continuas, como la función escalón, pueden aproximarse mediante funciones de activación continuas, lo que permite aplicar el resultado de la aproximación a dichas funciones. En particular, esto demuestra que una red perceptrón con una única capa oculta de ancho infinito puede aproximar funciones arbitrarias.

Tal esF{\displaystyle f}También se puede aproximar mediante una red de mayor profundidad utilizando la misma construcción para la primera capa y aproximando la función identidad con capas posteriores.

Boceto de prueba

Basta con probar el caso dondemetro=1{\displaystyle m=1}, ya que la convergencia uniforme enRmetro{\displaystyle \mathbb {R} ^{m}}es simplemente una convergencia uniforme en cada coordenada.

DejarFσ{\displaystyle F_{\sigma }}sea ​​el conjunto de todas las redes neuronales de una capa oculta construidas conσ{\displaystyle \sigma }. Dejardo0(Rd,R){\displaystyle C_{0}(\mathbb {R} ^{d},\mathbb {R} )}ser el conjunto de todosdo(Rd,R){\displaystyle C(\mathbb {R} ^{d},\mathbb {R} )}con soporte compacto.

Si la función es un polinomio de gradod{\displaystyle d}, entoncesFσ{\displaystyle F_{\sigma }}está contenido en el subespacio cerrado de todos los polinomios de gradod{\displaystyle d}, por lo que su cierre también está contenido en él, lo cual no es tododo0(Rd,R){\displaystyle C_{0}(\mathbb {R} ^{d},\mathbb {R} )}.

De lo contrario, demostramos queFσ{\displaystyle F_{\sigma }}El cierre es todo dedo0(Rd,R){\displaystyle C_{0}(\mathbb {R} ^{d},\mathbb {R} )}Supongamos que podemos construir aproximaciones arbitrariamente buenas de la función rampa. r(incógnita)={−1si incógnita<−1+incógnitasi |incógnita|≤1+1si incógnita>1{\displaystyle r(x)={\begin{cases}-1&{\text{if }}x<-1\\{\phantom {+}}x&{\text{if }}|x|\leq 1\\{\phantom {+}}1&{\text{if }}x>1\\\end{cases}}} Luego, se puede combinar para construir una función continua con soporte compacto arbitrario y precisión arbitraria. Solo queda aproximar la función rampa.

Cualquiera de las funciones de activación comúnmente utilizadas en el aprendizaje automático puede usarse, obviamente, para aproximar la función de rampa, o bien, primero aproximar la función ReLU y luego la función de rampa.

siσ{\displaystyle \sigma }es "aplastar", es decir, tiene límites.σ(−∞)<σ(+∞){\displaystyle \sigma (-\infty )<\sigma (+\infty )}Entonces, se puede primero reducir el eje x mediante una transformación afín para que su gráfica parezca una función escalón con dos picos pronunciados, y luego sumar linealmente suficientes de ellos para obtener una aproximación en forma de escalera de la función rampa. Con más escalones en la escalera, los picos se suavizan y obtenemos una aproximación arbitrariamente buena de la función rampa.

El caso dondeσ{\displaystyle \sigma }es una función genérica no polinómica es más difícil, y se remite al lector a. [ 10 ]

La demostración anterior no ha especificado cómo se podría usar una función rampa para aproximar funciones arbitrarias endo0(Rnorte,R){\displaystyle C_{0}(\mathbb {R} ^{n},\mathbb {R} )}. Un esbozo de la demostración es que primero se pueden construir funciones de protuberancia planas, intersectarlas para obtener funciones de protuberancia esféricas que aproximan la función delta de Dirac , y luego usarlas para aproximar funciones arbitrarias endo0(Rnorte,R){\displaystyle C_{0}(\mathbb {R} ^{n},\mathbb {R} )}. [ 47 ] Las demostraciones originales, como la de Cybenko, utilizan métodos del análisis funcional , incluidos los teoremas de representación de Hahn-Banach y Riesz-Markov-Kakutani . Cybenko publicó por primera vez el teorema en un informe técnico en 1988, [ 48 ] luego como un artículo en 1989. [ 7 ]

Obsérvese también que la red neuronal solo necesita aproximarse dentro de un conjunto compacto.K{\displaystyle K}La demostración no describe cómo se extrapolaría la función fuera de la región.

El problema con los polinomios se puede eliminar permitiendo que las salidas de las capas ocultas se multipliquen entre sí (las "redes pi-sigma"), lo que produce la generalización: [ 1 ]

Teorema de aproximación universal para redes pi-sigma : con cualquier función de activación no constante, una red pi-sigma de una capa oculta es un aproximador universal.

Caso de profundidad arbitraria

Las versiones "duales" del teorema consideran redes de ancho acotado y profundidad arbitraria. Zhou Lu et al. demostraron una variante del teorema de aproximación universal para el caso de profundidad arbitraria en 2017. [ 13 ] Demostraron que las redes de ancho n  +  4 con funciones de activación ReLU pueden aproximar cualquier función integrable de Lebesgue en un espacio de entrada n -dimensional con respecto aL1{\displaystyle L^{1}}distancia si se permite que crezca la profundidad de la red. También se demostró que si el ancho era menor o igual a n , se perdía este poder expresivo general para aproximar cualquier función integrable de Lebesgue. En el mismo artículo [ 13 ] se demostró que las redes ReLU con ancho n  +  1 eran suficientes para aproximar cualquier función continua de variables de entrada n -dimensionales. [ 14 ] El siguiente refinamiento especifica el ancho mínimo óptimo para el cual es posible tal aproximación y se debe a. [ 49 ]

Teorema de aproximación universal (distancia L1, activación ReLU, profundidad arbitraria, ancho mínimo) — Para cualquier función p-integrable de Bochner-LebesgueF:Rnorte→Rmetro{\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}}y cualquierε>0{\displaystyle \varepsilon >0}Existe una red ReLU completamente conectada .F{\displaystyle F}de ancho exactamentedmetro=máximo{norte+1,metro}{\displaystyle d_{m}=\max\{n+1,m\}}, satisfactorio ∫Rnorte‖F(incógnita)−F(incógnita)‖pagdincógnita<ε.{\displaystyle \int _{\mathbb {R} ^{n}}\|f(x)-F(x)\|^{p}\,\mathrm {d} x<\varepsilon .} Además, existe una funciónF∈Lpag(Rnorte,Rmetro){\displaystyle f\in L^{p}(\mathbb {R} ^{n},\mathbb {R} ^{m})}y algunosε>0{\displaystyle \varepsilon >0}, para el cual no existe una red ReLU completamente conectada de ancho menor quedmetro=máximo{norte+1,metro}{\displaystyle d_{m}=\max\{n+1,m\}}que satisface el límite de aproximación anterior.

Nota: Si la activación se reemplaza por leaky-ReLU y la entrada se restringe a un dominio compacto, entonces el ancho mínimo exacto es [ 24 ].dmetro=máximo{norte,metro,2}{\displaystyle d_{m}=\max\{n,m,2\}}.

Refinamiento cuantitativo: En el caso dondeF:[0,1]norte→R{\displaystyle f:[0,1]^{n}\rightarrow \mathbb {R} }, (es decirmetro=1{\displaystyle m=1}) yσ{\displaystyle \sigma }es la función de activación ReLU , la profundidad y el ancho exactos para que una red ReLU logreε{\displaystyle \varepsilon }También se conoce el error. [ 20 ] Si, además, la función objetivoF{\displaystyle f}es suave, entonces el número requerido de capas y su ancho pueden ser exponencialmente más pequeños. [ 50 ] Incluso siF{\displaystyle f}no es suave, la maldición de la dimensionalidad se puede romper siF{\displaystyle f}admite una "estructura compositiva" adicional. [ 51 ] [ 52 ]

En conjunto, el resultado central de [ 15 ] produce el siguiente teorema de aproximación universal para redes con ancho acotado (véase también [ 11 ] para el primer resultado de este tipo).

Teorema de aproximación universal (activación no afín uniforme , profundidad arbitraria , ancho restringido). — Seaincógnita{\displaystyle {\mathcal {X}}}ser un subconjunto compacto deRd{\displaystyle \mathbb {R} ^{d}}. Dejarσ:R→R{\displaystyle \sigma Sea $\mathbb {R} \to \mathbb {R}$ cualquierfunción continua no afín que sea continuamente diferenciable en al menos un punto, con derivada no nula en ese punto.norted,D:d+D+2σ{\displaystyle {\mathcal {N}}_{d,D:d+D+2}^{\sigma }}denotemos el espacio de redes neuronales de alimentación directa cond{\displaystyle d}neuronas de entrada,D{\displaystyle D}neuronas de salida y un número arbitrario de capas ocultas, cada una cond+D+2{\displaystyle d+D+2}neuronas, de tal manera que cada neurona oculta tiene función de activaciónσ{\displaystyle \sigma }y cada neurona de salida tiene la identidad como su función de activación, con la capa de entradaϕ{\displaystyle \phi }y capa de salidaρ{\displaystyle \rho }. Entonces, dado cualquierε>0{\displaystyle \varepsilon >0}y cualquierF∈do(incógnita,RD){\displaystyle f\in C({\mathcal {X}},\mathbb {R} ^{D})}, existeF^∈norted,D:d+D+2σ{\displaystyle {\hat {f}}\in {\mathcal {N}}_{d,D:d+D+2}^{\sigma }}de tal manera que sorberincógnita∈incógnita‖F^(incógnita)−F(incógnita)‖<ε.{\displaystyle \sup _{x\in {\mathcal {X}}}\left\|{\hat {f}}(x)-f(x)\right\|<\varepsilon .}

En otras palabras,norte{\displaystyle {\mathcal {N}}}es denso endo(incógnita;RD){\displaystyle C({\mathcal {X}};\mathbb {R} ^{D})}con respecto a la topología de convergencia uniforme .

Refinamiento cuantitativo: El número de capas y el ancho de cada capa necesarios para aproximarF{\displaystyle f}aε{\displaystyle \varepsilon }precisión conocida; [ 25 ] además, el resultado es válido cuandoincógnita{\displaystyle {\mathcal {X}}}yRD{\displaystyle \mathbb {R} ^{D}}se reemplazan con cualquier variedad riemanniana de curvatura no positiva .

Se han establecido ciertas condiciones necesarias para el caso de ancho limitado y profundidad arbitraria, pero aún existe una brecha entre las condiciones suficientes y necesarias conocidas. [ 13 ] [ 14 ] [ 53 ]

Caso de profundidad y anchura limitadas

El primer resultado sobre las capacidades de aproximación de las redes neuronales con un número limitado de capas, cada una con un número limitado de neuronas artificiales, fue obtenido por Maiorov y Pinkus. [ 17 ] Su notable resultado reveló que dichas redes pueden ser aproximadores universales y que para lograr esta propiedad son suficientes dos capas ocultas.

Teorema de aproximación universal: [ 17 ] — Existe una función de activaciónσ{\displaystyle \sigma }que es analítica, estrictamente creciente y sigmoidal y tiene la siguiente propiedad: Para cualquierF∈do[0,1]d{\displaystyle f\in C[0,1]^{d}} yε>0{\displaystyle \varepsilon >0}existen constantesdi,doij,θij,γi{\displaystyle d_{i},c_{ij},\theta _{ij},\gamma _{i}}y vectoreswij∈Rd{\displaystyle \mathbf {w} ^{ij}\in \mathbb {R} ^{d}} para qué |F(incógnita)−∑i=16d+3diσ(∑j=13ddoijσ(wij⋅incógnita−θij)−γi)|<ε{\displaystyle \left\vert f(\mathbf {x} )-\sum _{i=1}^{6d+3}d_{i}\sigma \left(\sum _{j=1}^{3d}c_{ij}\sigma (\mathbf {w} ^{ij}\cdot \mathbf {x-} \theta _{ij})-\gamma _{i}\right)\right\vert <\varepsilon } a pesar deincógnita=(incógnita1,...,incógnitad)∈[0,1]d{\displaystyle \mathbf {x} =(x_{1},...,x_{d})\in [0,1]^{d}}.

Este es un resultado de existencia. Indica que existen funciones de activación que proporcionan una propiedad de aproximación universal para redes de profundidad y anchura limitadas. Utilizando ciertas técnicas algorítmicas y de programación informática , Guliyev e Ismailov construyeron eficientemente dichas funciones de activación en función de un parámetro numérico. El algoritmo desarrollado permite calcular las funciones de activación en cualquier punto del eje real de forma instantánea. Para el algoritmo y el código informático correspondiente, véase [ 18 ] . El resultado teórico puede formularse de la siguiente manera.

Teorema de aproximación universal: [ 18 ] [ 19 ] — Sea [a,b]{\displaystyle [a,b]} sea ​​un segmento finito de la recta real,s=b−a{\displaystyle s=b-a}yλ{\displaystyle \lambda } Sea cualquier número positivo. Entonces se puede construir algorítmicamente una función de activación sigmoidal computable.σ:R→R{\displaystyle \sigma \colon \mathbb {R} \to \mathbb {R} }, que es infinitamente diferenciable y estrictamente creciente en(−∞,s){\displaystyle (-\infty ,s)},λ{\displaystyle \lambda }-aumentando estrictamente en[s,+∞){\displaystyle [s,+\infty )}y satisface las siguientes propiedades:

  1. Para cualquierF∈do[a,b]{\displaystyle f\in C[a,b]} yε>0{\displaystyle \varepsilon >0} existen númerosdo1,do2,θ1{\displaystyle c_{1},c_{2},\theta _{1}} yθ2{\displaystyle \theta _{2}} de tal manera que para todosincógnita∈[a,b]{\displaystyle x\in [a,b]}|F(incógnita)−do1σ(incógnita−θ1)−do2σ(incógnita−θ2)|<ε{\displaystyle |f(x)-c_{1}\sigma (x-\theta _{1})-c_{2}\sigma (x-\theta _{2})|<\varepsilon }
  2. Para cualquier función continuaF{\displaystyle F}en eld{\displaystyle d}-caja dimensional[a,b]d{\displaystyle [a,b]^{d}}yε>0{\displaystyle \varepsilon >0}, existen constantesmipag{\displaystyle e_{p}},dopagq{\displaystyle c_{pq}},θpagq{\displaystyle \theta _{pq}}yζpag{\displaystyle \zeta _{p}}de tal manera que la desigualdad|F(incógnita)−∑pag=12d+2mipagσ(∑q=1ddopagqσ(wq⋅incógnita−θpagq)−ζpag)|<ε{\displaystyle \left|F(\mathbf {x} )-\sum _{p=1}^{2d+2}e_{p}\sigma \left(\sum _{q=1}^{d}c_{pq}\sigma (\mathbf {w} ^{q}\cdot \mathbf {x} -\theta _{pq})-\zeta _{p}\right)\right|<\varepsilon }se aplica a todosincógnita=(incógnita1,…,incógnitad)∈[a,b]d{\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{d})\in [a,b]^{d}}Aquí están los pesoswq{\displaystyle \mathbf {w} ^{q}},q=1,…,d{\displaystyle q=1,\ldots ,d}, se fijan de la siguiente manera:w1=(1,0,…,0),w2=(0,1,…,0),…,wd=(0,0,…,1).{\displaystyle \mathbf {w} ^{1}=(1,0,\ldots ,0),\quad \mathbf {w} ^{2}=(0,1,\ldots ,0),\quad \ldots ,\quad \mathbf {w} ^{d}=(0,0,\ldots ,1).}Además, todos los coeficientesmipag{\displaystyle e_{p}}, excepto uno, son iguales.

Aquí "σ:R→R{\displaystyle \sigma \colon \mathbb {R} \to \mathbb {R} }esλ{\displaystyle \lambda }-aumentando estrictamente en algún conjuntoincógnita{\displaystyle X}" significa que existe una función estrictamente crecientetú:incógnita→R{\displaystyle u\colon X\to \mathbb {R} }de tal manera que|σ(incógnita)−tú(incógnita)|≤λ{\displaystyle |\sigma (x)-u(x)|\leq \lambda }a pesar deincógnita∈incógnita{\displaystyle x\in X}. Claramente, unλ{\displaystyle \lambda }-La función creciente se comporta como una función creciente usual, ya queλ{\displaystyle \lambda }se vuelve pequeño. En la terminología de " profundidad-anchura ", el teorema anterior dice que para ciertas funciones de activación profundidad-2{\displaystyle 2}ancho-2{\displaystyle 2}Las redes son aproximadores universales para funciones univariadas y de profundidad.3{\displaystyle 3}ancho-(2d+2){\displaystyle (2d+2)}Las redes son aproximadores universales parad{\displaystyle d}-funciones variables (d>1{\displaystyle d>1}).

Véase también

Referencias

  1. 1 2 3 4 5 Hornik, Kurt; Stinchcombe, Maxwell; White, Halbert (enero de 1989). "Las redes neuronales multicapa de alimentación directa son aproximadores universales". Redes neuronales . 2 (5): 359– 366. doi : 10.1016/0893-6080(89)90020-8 .
  2. ↑ Balázs Csanád Csáji (2001) Aproximación con redes neuronales artificiales; Facultad de Ciencias; Universidad Eötvös Loránd, Hungría
  3. ↑ Funahashi, Ken-ichi (mayo de 1988). Sobre la realización aproximada de mapeos continuos mediante redes neuronales (PDF) (Informe técnico). TR-A-0024 . Recuperado el 28 de abril de 2026 .
  4. 1 2 Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K. (1988). "Reconocimiento de fonemas: redes neuronales frente a modelos ocultos de Markov". Actas de la Conferencia Internacional IEEE sobre Acústica, Habla y Procesamiento de Señales . págs. 107–110 . 
  5. ↑ Irie, B.; Miyake, S. (1988). "Capacidades de los perceptrones de tres capas". Actas de la Conferencia Internacional IEEE sobre Redes Neuronales . Vol. 1. págs. 641–648 .  
  6. ↑ Funahashi, Ken-ichi (mayo de 1989). "Sobre la realización aproximada de mapeos continuos mediante redes neuronales". Redes neuronales . 2 (3): 183– 192. doi : 10.1016/0893-6080(89)90003-8 .
  7. 1 2 3 4 Cybenko, G. (1989). "Aproximación por superposiciones de una función sigmoidal". Matemáticas de Control, Señales y Sistemas . 2 (4): 303– 314. Bibcode : 1989MCSS....2..303C . CiteSeerX 10.1.1.441.7873 . doi : 10.1007/BF02551274 . S2CID 3958369 .  
  8. 1 2 Hornik, Kurt (1991). "Capacidades de aproximación de redes neuronales multicapa de alimentación directa". Redes neuronales . 4 (2): 251– 257. doi : 10.1016/0893-6080(91)90009-T . S2CID 7343126 . 
  9. 1 2 Leshno, Moshe; Lin, Vladimir Ya.; Pinkus, Allan; Schocken, Shimon (enero de 1993). "Las redes neuronales multicapa de alimentación directa con una función de activación no polinómica pueden aproximar cualquier función" . Redes neuronales . 6 (6): 861– 867. doi : 10.1016/S0893-6080(05)80131-5 . S2CID 206089312 . 
  10. 1 2 3 Pinkus, Allan (enero de 1999). "Teoría de aproximación del modelo MLP en redes neuronales". Acta Numerica . 8 : 143–195 . Bibcode : 1999AcNum...8..143P . doi : 10.1017/S0962492900002919 . S2CID 16800260 . 
  11. 1 2 Gripenberg, Gustaf (junio de 2003). "Aproximación mediante redes neuronales con un número limitado de nodos en cada nivel". Journal of Approximation Theory . 122 (2): 260– 266. doi : 10.1016/S0021-9045(03)00078-9 .
  12. ↑ Yarotsky, Dmitry (octubre de 2017). "Límites de error para aproximaciones con redes ReLU profundas". Redes neuronales . 94 : 103–114 . arXiv : 1610.01145 . doi : 10.1016/j.neunet.2017.07.002 . PMID 28756334. S2CID 426133 .  
  13. 1 2 3 4 Lu, Zhou; Pu, Hongming; Wang, Feicheng; Hu, Zhiqiang; Wang, Liwei (2017). "El poder expresivo de las redes neuronales: una visión desde la amplitud" . Avances en sistemas de procesamiento de información neuronal . 30. Curran Associates: 6231–6239 . arXiv : 1709.02540 .
  14. 1 2 3 Hanin, Boris; Sellke, Mark (2018). "Aproximación de funciones continuas mediante redes ReLU de ancho mínimo". arXiv : 1710.11278 [ stat.ML ].
  15. 1 2 3 4 Kidger, Patrick; Lyons, Terry (julio de 2020). Aproximación universal con redes neuronales profundas estrechas . Conferencia sobre teoría del aprendizaje. arXiv : 1905.08539 .
  16. ↑ Yongqiang, Cai (2024). "Vocabulario para la aproximación universal: una perspectiva lingüística de las composiciones de mapeo" . ICML : 5189–5208 . arXiv : 2305.12205 .
  17. 1 2 3 Maiorov, Vitaly; Pinkus, Allan (abril de 1999). "Límites inferiores para la aproximación mediante redes neuronales MLP". Neurocomputing . 25 ( 1–3 ): 81–91 . doi : 10.1016/S0925-2312(98)00111-8 .
  18. 1 2 3 Guliyev, Namig; Ismailov, Vugar (noviembre de 2018). "Capacidad de aproximación de redes neuronales de alimentación directa de dos capas ocultas con pesos fijos". Neurocomputing . 316 : 262–269 . arXiv : 2101.09181 . doi : 10.1016/j.neucom.2018.07.075 . S2CID 52285996 . 
  19. 1 2 Guliyev, Namig; Ismailov, Vugar (febrero de 2018). "Sobre la aproximación mediante redes neuronales de alimentación directa de una sola capa oculta con pesos fijos". Redes neuronales . 98 : 296–304 . arXiv : 1708.06219 . doi : 10.1016/j.neunet.2017.12.007 . PMID 29301110. S2CID 4932839 .  
  20. 12 Shen , Zuowei; Yang, Haizhao; Zhang, Shijun (enero de 2022). "Tasa de aproximación óptima de redes ReLU en términos de ancho y profundidad". Revista de Mathématiques Pures et Appliquées . 157 : 101–135 . arXiv : 2103.00502 . doi : 10.1016/j.matpur.2021.07.009 . S2CID 232075797 . 
  21. 1 2 Park, Sejun; Yun, Chulhee; Lee, Jaeho; Shin, Jinwoo (2021). Anchura mínima para aproximación universal . Conferencia internacional sobre representaciones de aprendizaje. arXiv : 2006.08859 .
  22. ↑ Tabuada, Paulo; Gharesifard, Bahman (2021). Poder de aproximación universal de redes neuronales residuales profundas mediante la teoría de control no lineal . Conferencia Internacional sobre Representaciones de Aprendizaje. arXiv : 2007.06007 .
  23. ↑ Tabuada, Paulo; Gharesifard, Bahman (mayo de 2023). "Poder de aproximación universal de las redes neuronales residuales profundas a través de la lente del control". IEEE Transactions on Automatic Control . 68 (5): 2715– 2728. Bibcode : 2023ITAC...68.2715T . doi : 10.1109/TAC.2022.3190051 . S2CID 250512115 . (Errata: doi : 10.1109/TAC.2024.3390099 ) 
  24. 1 2 Cai, Yongqiang (2023-02-01). "Lograr el ancho mínimo de las redes neuronales para la aproximación universal" . ICLR . arXiv : 2209.11395 .
  25. 1 2 Kratsios, Anastasis; Papon, Léonie (2022). "Teoremas de aproximación universales para el aprendizaje profundo geométrico diferenciable" . Journal of Machine Learning Research . 23 (196): 1– 73. arXiv : 2101.05390 .
  26. ↑ Hecht-Nielsen, Robert (1987). "Teorema de existencia de redes neuronales de mapeo de Kolmogorov" . Actas de la Conferencia Internacional sobre Redes Neuronales, 1987. 3 : 11–13 .
  27. ↑ Ismailov, Vugar E. (julio de 2023). "Una red neuronal de tres capas puede representar cualquier función multivariada". Journal of Mathematical Analysis and Applications . 523 (1) 127096. arXiv : 2012.03016 . doi : 10.1016/j.jmaa.2023.127096 . S2CID 265100963 . 
  28. ↑ Liu, Ziming; Wang, Yixuan; Vaidya, Sachin; Ruehle, Fabian; Halverson, James; Soljačić, Marin; Hou, Thomas Y.; Tegmark, Max (2024-05-24). "KAN: Redes de Kolmogorov-Arnold". arXiv : 2404.19756 [ cs.LG ].
  29. ↑ Grigoryeva, L.; Ortega, J.-P. (2018). "Las redes de estado de eco son universales". Neural Networks . 108 (1): 495– 508. arXiv : 1806.00797 . doi : 10.1016/j.neunet.2018.08.025 . PMID 30317134 . 
  30. ↑ Maass, Wolfgang; Markram, Henry (2004). "Sobre el poder computacional de los circuitos de neuronas de impulsos" (PDF) . Journal of Computer and System Sciences . 69 (4): 593– 616. doi : 10.1016/j.jcss.2004.04.001 .
  31. ↑ Monzani, Francesco; Prati, Enrico (2024). "Condiciones de universalidad de la computación de reservorio clásica y cuántica unificada". arXiv : 2401.15067 [ quant-ph ].
  32. ^ van Nuland, Teun (2024). "Aproximación universal uniforme no compacta" . Redes Neuronales . 173 106181. arXiv : 2308.03812 . doi : 10.1016/j.neunet.2024.106181 . PMID 38412737 . 
  33. ↑ Baader, Maximilian; Mirman, Matthew; Vechev, Martin (2020). Aproximación universal con redes certificadas . ICLR.
  34. ↑ Gelenbe, Erol; Mao, Zhi Hong; Li, Yan D. (1999). "Aproximación de funciones con redes aleatorias con picos" . IEEE Transactions on Neural Networks . 10 (1): 3– 9. Bibcode : 1999ITNN...10....3G . doi : 10.1109/72.737488 . PMID 18252498 . 
  35. ↑ Lin, Hongzhou; Jegelka, Stefanie (2018). ResNet con capas ocultas de una neurona es un aproximador universal . Advances in Neural Information Processing Systems . Vol. 30. Curran Associates. pp. 6169–6178 .  
  36. ↑ Xu, Keyulu; Hu, Weihua; Leskovec, Jure; Jegelka, Stefanie (2019). ¿ Qué tan poderosas son las redes neuronales gráficas? Conferencia internacional sobre representaciones de aprendizaje .
  37. ↑ Brüel-Gabrielsson, Rickard (2020). Aproximación de funciones universales en grafos . Avances en sistemas de procesamiento de información neuronal . Vol. 33. Curran Associates. 
  38. ↑ Kratsios, Anastasis; Bilokopytov, Eugene (2020). Aproximación universal no euclidiana (PDF) . Avances en sistemas de procesamiento de información neuronal . Vol. 33. Curran Associates. 
  39. ↑ Zhou, Ding-Xuan (2020). "Universalidad de las redes neuronales convolucionales profundas". Análisis armónico aplicado y computacional . 48 (2): 787– 794. arXiv : 1805.10769 . doi : 10.1016/j.acha.2019.06.004 . S2CID 44113176 . 
  40. ↑ Heinecke, Andreas; Ho, Jinn; Hwang, Wen-Liang (2020). "Refinamiento y aproximación universal mediante redes de convolución ReLU escasamente conectadas". IEEE Signal Processing Letters . 27 : 1175–1179 . Bibcode : 2020ISPL...27.1175H . doi : 10.1109/LSP.2020.3005051 . S2CID 220669183 . 
  41. ↑ Park, J.; Sandberg, IW (1991). "Aproximación universal mediante redes de funciones de base radial". Neural Computation . 3 (2): 246– 257. doi : 10.1162/neco.1991.3.2.246 . PMID 31167308 . S2CID 34868087 .  
  42. ↑ Yarotsky, Dmitry (2021). "Aproximaciones universales de mapas invariantes mediante redes neuronales". Aproximación constructiva . 55 : 407–474 . arXiv : 1804.10306 . doi : 10.1007/s00365-021-09546-1 . S2CID 13745401 . 
  43. ↑ Zakwan, Muhammad; d'Angelo, Massimiliano; Ferrari-Trecate, Giancarlo (2023). "Propiedad de aproximación universal de redes neuronales profundas hamiltonianas". IEEE Control Systems Letters . 7 : 2689. arXiv : 2303.12147 . Bibcode : 2023ICSL....7.2689Z . doi : 10.1109/LCSYS.2023.3288350 . S2CID 257663609 . 
  44. ↑ Funahashi, Ken-Ichi (mayo de 1989). "Sobre la realización aproximada de mapeos continuos mediante redes neuronales". Redes neuronales . 2 (3): 183– 192. doi : 10.1016/0893-6080(89)90003-8 .
  45. ↑ Haykin, Simon (1998). Redes neuronales: Fundamentos integrales , Volumen 2, Prentice Hall. ISBN 0-13-273350-1.
  46. ↑ Hassoun, M. (1995) Fundamentos de redes neuronales artificiales MIT Press, pág. 48
  47. ↑ Nielsen, Michael A. (2015). Redes neuronales y aprendizaje profundo .
  48. ↑ G. Cybenko, "Las redes neuronales de valores continuos con dos capas ocultas son suficientes", Informe técnico, Departamento de Ciencias de la Computación, Universidad de Tufts, 1988.
  49. ^ Park, Yun, Lee, Shin, Sejun, Chulhee, Jaeho, Jinwoo (28 de septiembre de 2020). "Ancho mínimo para aproximación universal" . ICLR . arXiv : 2006.08859 .{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  50. ↑ Lu, Jianfeng; Shen, Zuowei; Yang, Haizhao; Zhang, Shijun (enero de 2021). "Aproximación de redes profundas para funciones suaves". SIAM Journal on Mathematical Analysis . 53 (5): 5465– 5506. arXiv : 2001.03040 . doi : 10.1137/20M134695X . S2CID 210116459 . 
  51. ^ Juditsky, Anatoli B.; Lepski, Oleg V.; Tsybakov, Alexandre B. (1 de junio de 2009). "Estimación no paramétrica de funciones compuestas" . Los anales de la estadística . 37 (3). arXiv : 0906.0865 . doi : 10.1214/08-aos611 . ISSN 0090-5364 . S2CID 2471890 .  
  52. ↑ Poggio, Tomaso; Mhaskar, Hrushikesh; Rosasco, Lorenzo; Miranda, Brando; Liao, Qianli (2017-03-14). "Por qué y cuándo las redes profundas, pero no las superficiales, pueden evitar la maldición de la dimensionalidad: una revisión" . International Journal of Automation and Computing . 14 (5): 503– 519. arXiv : 1611.00740 . doi : 10.1007/s11633-017-1054-2 . ISSN 1476-8186 . S2CID 15562587 .  
  53. ↑ Johnson, Jesse (2019). Las redes neuronales profundas y delgadas no son aproximadores universales . Conferencia internacional sobre representaciones de aprendizaje.
Lecturas relacionadas
6 articulos
Aprendizaje automáticoAprendizaje automáticoEl aprendizaje automático ( ML ) es un campo de estudio en inteligencia artificial que se ocupa del desarrollo y estudio de algoritmos estadísticos...Red neuronal (aprendizaje automático)Red neuronal (aprendizaje automático)En el aprendizaje automático , una red neuronal (también red neuronal artificial o red neuronal , abreviada ANN o NN ) es un modelo inspirado en la...{\displaystyle \int _{a}^{b}f'(t)\,dt=f(b)-f(a)}Función continuaEn matemáticas , una función continua es una función tal que una pequeña variación del argumento induce una pequeña variación del valor de la funci...Red neuronal de retroalimentaciónRed neuronal de retroalimentaciónUna red neuronal de propagación hacia adelante ( FNN ) es uno de los dos tipos generales de redes neuronales artificiales , que se caracteriza por ...Función de activaciónFunción de activación logística La función de activación de un nodo en una red neuronal artificial es una función que calcula la salida del nodo en...PolinomioEn matemáticas , un polinomio es una expresión matemática que consta de indeterminados (también llamados variables ) y coeficientes , que involucra...