Red neuronal convolucional

En una CNN, la entrada es un tensor con forma:

(número de entradas) × (altura de entrada) × (ancho de entrada) × ( canales de entrada )

Después de pasar por una capa convolucional, la imagen se abstrae en un mapa de características, también llamado mapa de activación, con forma:

(número de entradas) × (altura del mapa de características) × (ancho del mapa de características) × ( canales del mapa de características ).

Las capas convolucionales convolucionan la entrada y pasan su resultado a la siguiente capa. Esto es similar a la respuesta de una neurona en la corteza visual a un estímulo específico. ^{[ 23 ]} Cada neurona convolucional procesa datos solo para su campo receptivo .

Aunque las redes neuronales de alimentación directa totalmente conectadas pueden usarse para aprender características y clasificar datos, esta arquitectura generalmente no es práctica para entradas más grandes (por ejemplo, imágenes de alta resolución), que requerirían una cantidad masiva de neuronas porque cada píxel es una característica de entrada relevante. Una capa totalmente conectada para una imagen de tamaño 100 × 100 tiene 10 000 pesos para cada neurona en la segunda capa. La convolución reduce la cantidad de parámetros libres, lo que permite que la red sea más profunda. ^{[ 7 ]} Por ejemplo, usar una región de mosaico de 5 × 5, cada una con los mismos pesos compartidos, requiere solo 25 neuronas. El uso de pesos compartidos significa que hay muchos menos parámetros, lo que ayuda a evitar los problemas de gradientes evanescentes y gradientes explosivos observados durante la retropropagación en redes neuronales anteriores. ^{[ 3 ] [ 4 ]}

Para acelerar el procesamiento, las capas convolucionales estándar pueden reemplazarse por capas convolucionales separables en profundidad, ^{[ 24 ]} que se basan en una convolución en profundidad seguida de una convolución puntual. La convolución en profundidad es una convolución espacial aplicada independientemente sobre cada canal del tensor de entrada, mientras que la convolución puntual es una convolución estándar restringida al uso de${\displaystyle 1\times 1}$granos.

Las redes convolucionales pueden incluir capas de agrupación local y/o global junto con las capas convolucionales tradicionales. Las capas de agrupación reducen las dimensiones de los datos al combinar las salidas de los grupos de neuronas en una capa en una sola neurona en la siguiente capa. La agrupación local combina pequeños grupos, se utilizan comúnmente tamaños de mosaico como 2 × 2. La agrupación global actúa sobre todas las neuronas del mapa de características. ^{[ 25 ] [ 26 ]} Hay dos tipos comunes de agrupación en uso popular: máximo y promedio. La agrupación máxima utiliza el valor máximo de cada grupo local de neuronas en el mapa de características, ^{[ 27 ] [ 28 ]} mientras que la agrupación promedio toma el valor promedio.

Las capas totalmente conectadas conectan cada neurona de una capa con cada neurona de otra capa. Es similar a una red neuronal perceptrón multicapa (MLP) tradicional. Cada neurona de la capa totalmente conectada recibe información de todas las neuronas de la capa anterior. Estas entradas se ponderan y suman con los sesgos correspondientes, y luego se procesan mediante una función de activación para realizar una transformación no lineal, generando así la salida. La matriz resultante pasa por una capa totalmente conectada para clasificar las imágenes.

En las redes neuronales, cada neurona recibe información de varias ubicaciones en la capa anterior. En una capa convolucional, cada neurona recibe información solo de un área restringida de la capa anterior, denominada campo receptivo . Normalmente, esta área es cuadrada (por ejemplo, de 5x5 neuronas). En cambio, en una capa totalmente conectada, el campo receptivo abarca toda la capa anterior . Por lo tanto, en cada capa convolucional, cada neurona recibe información de un área mayor que la de las capas anteriores. Esto se debe a la aplicación repetida de la convolución, que tiene en cuenta el valor de un píxel, así como el de los píxeles circundantes. Al utilizar capas dilatadas, el número de píxeles en el campo receptivo permanece constante, pero este se dispersa a medida que sus dimensiones aumentan al combinar el efecto de varias capas.

Para manipular el tamaño del campo receptivo según se desee, existen algunas alternativas a la capa convolucional estándar. Por ejemplo, la convolución atrosa o dilatada ^{[ 29 ] [ 30 ]} expande el tamaño del campo receptivo sin aumentar el número de parámetros mediante la intercalación de regiones visibles y ciegas. Además, una única capa convolucional dilatada puede comprender filtros con múltiples índices de dilatación ^{[ 31 ]} , lo que permite obtener un tamaño de campo receptivo variable.

Cada neurona de una red neuronal calcula un valor de salida aplicando una función específica a los valores de entrada recibidos del campo receptivo de la capa anterior. La función aplicada a los valores de entrada está determinada por un vector de pesos y un sesgo (generalmente números reales). El aprendizaje consiste en ajustar iterativamente estos sesgos y pesos.

Los vectores de pesos y sesgos se denominan filtros y representan características particulares de la entrada (por ejemplo, una forma específica). Una característica distintiva de las CNN es que muchas neuronas pueden compartir el mismo filtro. Esto reduce el consumo de memoria, ya que se utiliza un único sesgo y un único vector de pesos en todos los campos receptivos que comparten ese filtro, en lugar de que cada campo receptivo tenga su propio sesgo y vector de ponderación. ^{[ 32 ]}

Una red neuronal deconvolucional es esencialmente lo opuesto a una CNN. Consta de capas deconvolucionales y capas de desagrupación. ^{[ 33 ]}

Una capa de deconvolución es la transpuesta de una capa convolucional. Específicamente, una capa convolucional se puede escribir como una multiplicación por una matriz, y una capa de deconvolución es una multiplicación por la transpuesta de esa matriz. ^{[ 34 ]}

Una capa de desagrupación expande la capa. La capa de desagrupación máxima es la más simple, ya que simplemente copia cada entrada varias veces. Por ejemplo, una capa de desagrupación máxima de 2x2 es${\displaystyle [x]\mapsto {\begin{bmatrix}x&x\\x&x\end{bmatrix}}}$.

Las capas de deconvolución se utilizan en los generadores de imágenes. Por defecto, crean un artefacto periódico de tablero de ajedrez, que se puede corregir mediante el escalado y posterior convolución. ^{[ 35 ]}

El trabajo de Hubel y Wiesel en las décadas de 1950 y 1960 demostró que las cortezas visuales de los gatos contienen neuronas que responden individualmente a pequeñas regiones del campo visual . Siempre que los ojos no se muevan, la región del espacio visual dentro de la cual los estímulos visuales afectan el disparo de una sola neurona se conoce como su campo receptivo . ^{[ 37 ]} Las células vecinas tienen campos receptivos similares y superpuestos. El tamaño y la ubicación del campo receptivo varían sistemáticamente a lo largo de la corteza para formar un mapa completo del espacio visual. La corteza en cada hemisferio representa el campo visual contralateral .

Su artículo de 1968 identificó dos tipos básicos de células visuales en el cerebro: ^{[ 19 ]}

• células simples , cuya producción se maximiza mediante bordes rectos que tienen orientaciones particulares dentro de su campo receptivo.
• células complejas , que tienen campos receptivos más grandes , cuya salida es insensible a la posición exacta de los bordes en el campo.

Hubel y Wiesel también propusieron un modelo en cascada de estos dos tipos de células para su uso en tareas de reconocimiento de patrones. ^{[ 38 ] [ 37 ]}

En 1969, Kunihiko Fukushima introdujo una red de detección de características visuales multicapa, inspirada en el trabajo de Hubel y Wiesel mencionado anteriormente, en la que "Todos los elementos de una capa tienen el mismo conjunto de coeficientes de interconexión; la disposición de los elementos y sus interconexiones son homogéneas en toda la capa". Este es el núcleo esencial de una red convolucional, pero los pesos no fueron entrenados. En el mismo artículo, Fukushima también introdujo la función de activación ReLU (unidad lineal rectificada) . ^{[ 39 ] [ 40 ]}

El " neocognitrón " ^{[ 18 ]} fue introducido por Fukushima en 1980. ^{[ 20 ] [ 28 ] [ 1 ]} El neocognitrón introdujo los dos tipos básicos de capas:

• Capa S: una capa de campo receptivo de pesos compartidos, posteriormente conocida como capa convolucional, que contiene unidades cuyos campos receptivos cubren una porción de la capa anterior. Un grupo de campos receptivos de pesos compartidos (un "plano" en la terminología neocognitónica) suele denominarse filtro, y una capa normalmente tiene varios de estos filtros.
• Capa C: una capa de submuestreo que contiene unidades cuyos campos receptivos cubren parches de capas convolucionales previas. Esta unidad calcula un promedio ponderado de las activaciones de las unidades en su parche y aplica inhibición (normalización divisiva) agrupada a partir de un parche algo mayor y a través de diferentes filtros en una capa, y aplica una función de activación saturante. Los pesos de los parches son no negativos y no se pueden entrenar en el neocognitrón original. El submuestreo y la inhibición competitiva ayudan a clasificar características y objetos en escenas visuales incluso cuando los objetos están desplazados.

Se han propuesto varios algoritmos de aprendizaje supervisado y no supervisado a lo largo de las décadas para entrenar los pesos de un neocognitrón. ^{[ 18 ]} Sin embargo, hoy en día, la arquitectura CNN se suele entrenar mediante retropropagación .

La función de activación ReLU de Fukushima no se utilizó en su neocognitrón, ya que todos los pesos eran no negativos; en su lugar, se empleó la inhibición lateral. El rectificador se ha convertido en una función de activación muy popular para las CNN y las redes neuronales profundas en general. ^{[ 41 ]}

El término "convolución" aparece por primera vez en redes neuronales en un artículo de Toshiteru Homma, Les Atlas y Robert Marks II en la primera Conferencia sobre Sistemas de Procesamiento de Información Neuronal en 1987. Su artículo reemplazó la multiplicación con convolución en el tiempo, proporcionando inherentemente invariancia de desplazamiento, motivado por y conectándose más directamente con el concepto de filtro de procesamiento de señales , y lo demostraron en una tarea de reconocimiento de voz. ^{[ 8 ]} También señalaron que, como sistema entrenable con datos, la convolución es esencialmente equivalente a la correlación ya que la inversión de los pesos no afecta la función aprendida final ("Para conveniencia, denotamos * como correlación en lugar de convolución. Nótese que convolucionar a(t) con b(t) es equivalente a correlacionar a(-t) con b(t)."). ^{[ 8 ]} Las implementaciones modernas de CNN suelen hacer correlación y la llaman convolución, por conveniencia, como hicieron aquí.

La red neuronal con retardo temporal (TDNN) fue introducida en 1987 por Alex Waibel et al. para el reconocimiento de fonemas y fue una de las primeras redes convolucionales que exhibía invariancia de desplazamiento. ^{[ 42 ]} Una TDNN es una red neuronal convolucional unidimensional donde la convolución se realiza a lo largo del eje temporal de los datos. Es la primera CNN que utiliza el uso compartido de pesos en combinación con un entrenamiento por descenso de gradiente, utilizando retropropagación . ^{[ 43 ]} Por lo tanto, si bien también utiliza una estructura piramidal como en el neocognitrón, realizó una optimización global de los pesos en lugar de una local. ^{[ 42 ]}

Las TDNN son redes convolucionales que comparten pesos a lo largo de la dimensión temporal. ^{[ 44 ]} Permiten procesar señales de voz de forma invariante en el tiempo. En 1990, Hampshire y Waibel introdujeron una variante que realiza una convolución bidimensional. ^{[ 45 ]} Dado que estas TDNN operaban sobre espectrogramas, el sistema de reconocimiento de fonemas resultante era invariante tanto a los cambios de tiempo como de frecuencia, al igual que las imágenes procesadas por un neocognitrón.

Las TDNN mejoraron el rendimiento del reconocimiento de voz a larga distancia. ^{[ 46 ]}

Denker et al. (1989) diseñaron un sistema CNN 2D para reconocer números de códigos postales escritos a mano . ^{[ 47 ]} Sin embargo, la falta de un método de entrenamiento eficiente para determinar los coeficientes del núcleo de las convoluciones involucradas significó que todos los coeficientes tuvieron que diseñarse manualmente de manera laboriosa. ^{[ 48 ]}

Tras los avances en el entrenamiento de CNN 1D por Waibel et al. (1987), Yann LeCun et al. (1989) ^{[ 48 ]} utilizaron la retropropagación para aprender los coeficientes del núcleo de convolución directamente a partir de imágenes de números escritos a mano. El aprendizaje fue, por lo tanto, completamente automático, tuvo un mejor rendimiento que el diseño manual de coeficientes y se adaptó a una gama más amplia de problemas de reconocimiento de imágenes y tipos de imágenes. Wei Zhang et al. (1988) ^{[ 14 ] [ 15 ]} utilizaron la retropropagación para entrenar los núcleos de convolución de una CNN para el reconocimiento de alfabetos. El modelo se denominó red neuronal de reconocimiento de patrones invariante a la traslación antes de que se acuñara el nombre CNN a principios de la década de 1990. Wei Zhang et al. también aplicaron la misma CNN sin la última capa totalmente conectada para la segmentación de objetos en imágenes médicas (1991) ^{[ 49 ]} y la detección de cáncer de mama en mamografías (1994). ^{[ 50 ]}

Este enfoque se convirtió en la base de la visión artificial moderna .

Wei Zhang et al. propusieron una red neuronal invariante a desplazamientos para el reconocimiento de caracteres en imágenes en 1988. ^{[ 14 ] [ 15 ]} Se trata de una modificación del Neocognitron, conservando únicamente las interconexiones convolucionales entre las capas de características de la imagen y la última capa totalmente conectada. El modelo se entrenó mediante retropropagación. El algoritmo de entrenamiento se mejoró aún más en 1991 ^{[ 55 ]} para optimizar su capacidad de generalización. La arquitectura del modelo se modificó eliminando la última capa totalmente conectada y se aplicó a la segmentación de imágenes médicas (1991) ^{[ 49 ]} y a la detección automática de cáncer de mama en mamografías (1994) . ^{[ 50 ]}

En 1988 se propuso un diseño diferente basado en convolución ^{[ 56 ]} para su aplicación a la descomposición de señales convolucionadas de electromiografía unidimensional mediante deconvolución. Este diseño se modificó en 1989 para dar lugar a otros diseños basados ​​en deconvolución. ^{[ 57 ] [ 58 ]}

Aunque las redes neuronales convolucionales (CNN) se inventaron en la década de 1980, su gran avance en la década de 2000 requirió implementaciones rápidas en unidades de procesamiento gráfico (GPU).

En 2004, KS Oh y K. Jung demostraron que las redes neuronales estándar pueden acelerarse enormemente en GPU. Su implementación fue 20 veces más rápida que una implementación equivalente en CPU . ^{[ 59 ]} En 2005, otro artículo también destacó el valor de GPGPU para el aprendizaje automático . ^{[ 60 ]}

La primera implementación de una CNN en GPU fue descrita en 2006 por K. Chellapilla et al. Su implementación fue 4 veces más rápida que una implementación equivalente en CPU. ^{[ 61 ]} En el mismo período, las GPU también se utilizaron para el entrenamiento no supervisado de redes de creencias profundas . ^{[ 62 ] [ 63 ] [ 64 ] [ 65 ]}

En 2010, Dan Ciresan y otros en IDSIA entrenaron redes neuronales profundas de alimentación directa en GPU. ^{[ 66 ]} En 2011, extendieron esto a CNN, acelerando en 60 en comparación con el entrenamiento en CPU. ^{[ 25 ]} En 2011, la red ganó un concurso de reconocimiento de imágenes donde lograron un rendimiento sobrehumano por primera vez. ^{[ 67 ]} Luego ganaron más competiciones y lograron el estado del arte en varios benchmarks. ^{[ 68 ] [ 52 ] [ 28 ]}

Posteriormente, AlexNet , una CNN similar basada en GPU de Alex Krizhevsky et al., ganó el ImageNet Large Scale Visual Recognition Challenge 2012. ^{[ 69 ]} Fue un evento catalizador temprano para el auge de la IA .

En comparación con el entrenamiento de CNN usando GPU , no se le prestó mucha atención a la CPU. (Viebke et al 2019) paraleliza CNN mediante paralelismo a nivel de hilos y SIMD que está disponible en el Intel Xeon Phi . ^{[ 70 ] [ 71 ]}

La capa convolucional es el componente básico de una CNN. Los parámetros de la capa consisten en un conjunto de filtros (o núcleos ) entrenables, que tienen un campo receptivo pequeño, pero se extienden a través de toda la profundidad del volumen de entrada. Durante el paso hacia adelante, cada filtro se convoluciona a través del ancho y la altura del volumen de entrada, calculando el producto escalar entre las entradas del filtro y la entrada, lo que produce un mapa de activación bidimensional de ese filtro. Como resultado, la red aprende filtros que se activan cuando detecta algún tipo específico de característica en alguna posición espacial en la entrada. ^{[ 74 ] [ nb 1 ]}

Al apilar los mapas de activación de todos los filtros a lo largo de la dimensión de profundidad, se forma el volumen de salida completo de la capa de convolución. Por lo tanto, cada entrada en el volumen de salida puede interpretarse como la salida de una neurona que analiza una pequeña región de la entrada. Cada entrada en un mapa de activación utiliza el mismo conjunto de parámetros que definen el filtro.

El aprendizaje autosupervisado se ha adaptado para su uso en capas convolucionales mediante el uso de parches dispersos con una alta relación de máscara y una capa de normalización de respuesta global.

Conectividad local

Al trabajar con entradas de alta dimensionalidad, como imágenes, resulta poco práctico conectar neuronas con todas las neuronas del volumen anterior, ya que dicha arquitectura de red no tiene en cuenta la estructura espacial de los datos. Las redes neuronales convolucionales aprovechan la correlación espacial local al imponer un patrón de conectividad local dispersa entre neuronas de capas adyacentes: cada neurona se conecta únicamente a una pequeña región del volumen de entrada.

La extensión de esta conectividad es un hiperparámetro denominado campo receptivo de la neurona. Las conexiones son locales en el espacio (a lo largo del ancho y la altura), pero siempre se extienden a lo largo de toda la profundidad del volumen de entrada. Esta arquitectura garantiza que los filtros aprendidos produzcan la respuesta más fuerte a un patrón de entrada espacialmente local. ^{[ 75 ]}

Disposición espacial

Tres hiperparámetros controlan el tamaño del volumen de salida de la capa convolucional: la profundidad, el paso y el tamaño del relleno:

• La profundidad del volumen de salida controla la cantidad de neuronas en una capa que se conectan a la misma región del volumen de entrada. Estas neuronas aprenden a activarse ante diferentes características de la entrada. Por ejemplo, si la primera capa convolucional toma la imagen original como entrada, diferentes neuronas a lo largo de la dimensión de profundidad pueden activarse en presencia de bordes orientados de distinta manera o manchas de color.
• El paso controla cómo se asignan las columnas de profundidad alrededor del ancho y la altura. Si el paso es 1, movemos los filtros un píxel a la vez. Esto da como resultado campos receptivos muy superpuestos entre las columnas y grandes volúmenes de salida. Para cualquier entero${\textstyle S>0,}$Un paso S significa que el filtro se traslada S unidades a la vez por cada salida. En la práctica,${\textstyle S\geq 3}$es raro. Una zancada mayor significa una menor superposición de campos receptivos y dimensiones espaciales más pequeñas del volumen de salida. ^{[ 76 ]}
• En ocasiones, resulta conveniente rellenar el volumen de entrada con ceros (u otros valores, como el promedio de la región). El tamaño de este relleno es un tercer hiperparámetro. El relleno permite controlar el tamaño espacial del volumen de salida. En particular, a veces se desea conservar exactamente el tamaño espacial del volumen de entrada; esto se conoce comúnmente como relleno "mismo".

El tamaño espacial del volumen de salida es una función del tamaño del volumen de entrada.${\displaystyle W}$, el tamaño del campo del kernel${\displaystyle K}$de las neuronas de la capa convolucional, el paso${\displaystyle S}$y la cantidad de relleno de ceros${\displaystyle P}$en la frontera. El número de neuronas que "caben" en un volumen dado es entonces:

$${\displaystyle {\frac {W-K+2P}{S}}+1.}$$

Si este número no es un entero , entonces los pasos son incorrectos y las neuronas no se pueden organizar para que se ajusten al volumen de entrada de forma simétrica . En general, establecer el relleno de ceros en${\textstyle P=(K-1)/2}$cuando la zancada es${\displaystyle S=1}$Garantiza que el volumen de entrada y el de salida tengan el mismo tamaño espacial. Sin embargo, no siempre es necesario utilizar todas las neuronas de la capa anterior. Por ejemplo, un diseñador de redes neuronales puede decidir utilizar solo una parte del relleno.

Otro concepto importante de las CNN es el pooling, que se utiliza como una forma de submuestreo no lineal . El pooling proporciona submuestreo porque reduce las dimensiones espaciales (altura y anchura) de los mapas de características de entrada mientras conserva la información más importante. Hay varias funciones no lineales para implementar el pooling, siendo el pooling máximo y el pooling promedio las más comunes. El pooling agrega información de pequeñas regiones de la entrada creando particiones del mapa de características de entrada, normalmente utilizando una ventana de tamaño fijo (como 2x2) y aplicando un paso (a menudo 2) para mover la ventana a través de la entrada. ^{[ 77 ]} Cabe señalar que sin utilizar un paso mayor que 1, el pooling no realizaría submuestreo, ya que simplemente movería la ventana de pooling a través de la entrada paso a paso, sin reducir el tamaño del mapa de características. En otras palabras, el paso es lo que realmente causa el submuestreo al determinar cuánto se mueve la ventana de pooling sobre la entrada.

Intuitivamente, la ubicación exacta de una característica es menos importante que su ubicación aproximada en relación con otras características. Esta es la idea detrás del uso de pooling en redes neuronales convolucionales. La capa de pooling sirve para reducir progresivamente el tamaño espacial de la representación, para reducir el número de parámetros, la huella de memoria y la cantidad de computación en la red, y por lo tanto también para controlar el sobreajuste . Esto se conoce como submuestreo. Es común insertar periódicamente una capa de pooling entre capas convolucionales sucesivas (cada una típicamente seguida de una función de activación, como una capa ReLU ) en una arquitectura CNN. ^{[ 74 ] : 460–461} Si bien las capas de pooling contribuyen a la invariancia de traslación local, no proporcionan invariancia de traslación global en una CNN, a menos que se utilice una forma de pooling global. ^{[ 16 ] [ 73 ]} La capa de pooling comúnmente opera de forma independiente en cada profundidad, o corte, de la entrada y la redimensiona espacialmente. Una forma muy común de agrupación máxima es una capa con filtros de tamaño 2×2, aplicada con un paso de 2, que submuestrea cada segmento de profundidad en la entrada por 2 tanto a lo largo del ancho como de la altura, descartando el 75% de las activaciones:$${\displaystyle f_{X,Y}(S)=\max _{a,b=0}^{1}S_{2X+a,2Y+b}.}$$ En este caso, cada operación de máximo se realiza sobre 4 números. La dimensión de profundidad permanece sin cambios (esto también es cierto para otras formas de agrupación).

Además del max pooling, las unidades de pooling pueden usar otras funciones, como el average pooling o el ℓ ₂ -norm pooling. El average pooling se usó con frecuencia históricamente, pero recientemente ha caído en desuso en comparación con el max pooling, que generalmente ofrece un mejor rendimiento en la práctica. ^{[ 78 ]}

Debido a los efectos de la rápida reducción espacial del tamaño de la representación, existe una tendencia reciente hacia el uso de filtros más pequeños ^{[ 79 ]} o el descarte total de las capas de agrupación. ^{[ 80 ]}

ReLU es la abreviatura de unidad lineal rectificada . Fue propuesta por Alston Householder en 1941, ^{[ 84 ]} y utilizada en CNN por Kunihiko Fukushima en 1969. ^{[ 39 ]} ReLU aplica la función de activación no saturante${\textstyle f(x)=\max(0,x)}$[ ^{69 ] Elimina eficazmente los valores negativos de un mapa de} activación estableciéndolos en cero. ^{[ 85 ]} Introduce no linealidad en la función de decisión y en la red general sin afectar los campos receptivos de las capas de convolución. En 2011, Xavier Glorot, Antoine Bordes y Yoshua Bengio descubrieron que ReLU permite un mejor entrenamiento de redes más profundas, ^{[ 86 ]} en comparación con las funciones de activación ampliamente utilizadas antes de 2011.

También se pueden utilizar otras funciones para aumentar la no linealidad, por ejemplo la tangente hiperbólica saturada.${\displaystyle f(x)=\tanh(x)}$,${\displaystyle f(x)=|\tanh(x)|}$y la función sigmoide${\textstyle \sigma (x)=(1+e^{-x})^{-1}}$. A menudo se prefiere ReLU a otras funciones porque entrena la red neuronal varias veces más rápido sin una penalización significativa en la precisión de generalización . ^{[ 87 ]}

Tras varias capas convolucionales y de agrupación máxima, la clasificación final se realiza mediante capas totalmente conectadas. Las neuronas de una capa totalmente conectada tienen conexiones con todas las activaciones de la capa anterior, como en las redes neuronales artificiales convencionales (no convolucionales) . Por lo tanto, sus activaciones se pueden calcular como una transformación afín , con una multiplicación de matrices seguida de un desplazamiento de sesgo ( suma vectorial de un término de sesgo aprendido o fijo).

La "capa de pérdida" o " función de pérdida " ejemplifica cómo el entrenamiento penaliza la desviación entre la salida predicha por la red y las etiquetas de datos reales (durante el aprendizaje supervisado). Se pueden utilizar diversas funciones de pérdida , según la tarea específica.

La función de pérdida Softmax se utiliza para predecir una sola clase de K clases mutuamente excluyentes. ^{[ nb 3 ]} La pérdida de entropía cruzada sigmoide se utiliza para predecir K valores de probabilidad independientes en${\displaystyle [0,1]}$La pérdida euclidiana se utiliza para la regresión a etiquetas de valor real .${\displaystyle (-\infty,\infty)}$.

El relleno consiste en añadir píxeles (normalmente) con valor cero en los bordes de una imagen. Esto se hace para que los píxeles de los bordes no se subvaloren (se pierdan) en la salida, ya que normalmente solo participan en una única instancia del campo receptivo. El relleno aplicado suele ser uno menos que la dimensión del núcleo correspondiente. Por ejemplo, una capa convolucional que utiliza núcleos de 3x3 recibiría un relleno de 2 píxeles, es decir, 1 píxel a cada lado de la imagen.

El paso es el número de píxeles que la ventana de análisis se desplaza en cada iteración. Un paso de 2 significa que cada núcleo se desplaza 2 píxeles con respecto al anterior.

Dado que el tamaño del mapa de características disminuye con la profundidad, las capas cercanas a la capa de entrada tienden a tener menos filtros, mientras que las capas superiores pueden tener más. Para igualar el cálculo en cada capa, el producto de los valores de las características v _a con la posición del píxel se mantiene prácticamente constante entre capas. Para conservar más información sobre la entrada, sería necesario que el número total de activaciones (número de mapas de características multiplicado por el número de posiciones de píxeles) no disminuya de una capa a otra.

El número de mapas de características controla directamente la capacidad y depende del número de ejemplos disponibles y de la complejidad de la tarea.

Los tamaños de filtro comunes que se encuentran en la literatura varían mucho y generalmente se eligen en función del conjunto de datos. Los tamaños típicos de filtro van desde 1x1 hasta 7x7. Dos ejemplos conocidos son AlexNet , que utilizó 3x3, 5x5 y 11x11, e Inceptionv3, que utilizó 1x1, 3x3 y 5x5.

El reto consiste en encontrar el nivel de granularidad adecuado para crear abstracciones a la escala apropiada, dado un conjunto de datos particular, y sin sobreajuste .

Normalmente se utiliza el agrupamiento máximo (max pooling) , a menudo con una dimensión de 2x2. Esto implica que la entrada se submuestrea drásticamente , lo que reduce el coste de procesamiento.

Un mayor agrupamiento reduce la dimensión de la señal y puede resultar en una pérdida de información inaceptable . A menudo, las ventanas de agrupamiento no superpuestas ofrecen el mejor rendimiento. ^{[ 78 ]}

La dilatación implica ignorar píxeles dentro de un núcleo. Esto reduce la memoria de procesamiento, potencialmente sin una pérdida significativa de señal. Una dilatación de 2 en un núcleo de 3x3 expande el núcleo a 5x5, mientras que sigue procesando 9 píxeles (espaciados uniformemente). Específicamente, los píxeles procesados ​​después de la dilatación son las celdas (1,1), (1,3), (1,5), (3,1), (3,3), (3,5), (5,1), (5,3), (5,5), donde (i,j) denota la celda de la i-ésima fila y j-ésima columna en el núcleo expandido de 5x5. En consecuencia, una dilatación de 4 expande el núcleo a 7x7.

Las CNN se utilizan a menudo en sistemas de reconocimiento de imágenes . En 2012, se informó una tasa de error del 0,23 % en la base de datos MNIST . ^{[ 28 ]} Otro artículo sobre el uso de CNN para la clasificación de imágenes informó que el proceso de aprendizaje fue "sorprendentemente rápido"; en el mismo artículo, los mejores resultados publicados hasta 2011 se lograron en la base de datos MNIST y la base de datos NORB. ^{[ 25 ]} Posteriormente, una CNN similar llamada AlexNet ^{[ 104 ]} ganó el ImageNet Large Scale Visual Recognition Challenge 2012.

Cuando se aplicaron al reconocimiento facial , las CNN lograron una gran disminución en la tasa de error. ^{[ 105 ]} Otro artículo reportó una tasa de reconocimiento del 97,6 % en "5600 imágenes fijas de más de 10 sujetos". ^{[ 21 ]} Las CNN se utilizaron para evaluar la calidad del video de manera objetiva después del entrenamiento manual; el sistema resultante tuvo un error cuadrático medio muy bajo . ^{[ 106 ]}

El ImageNet Large Scale Visual Recognition Challenge es un referente en la clasificación y detección de objetos, con millones de imágenes y cientos de clases de objetos. En el ILSVRC 2014, ^{[ 107 ]} un desafío de reconocimiento visual a gran escala, casi todos los equipos mejor clasificados utilizaron CNN como su marco básico. El ganador GoogLeNet ^{[ 108 ]} (la base de DeepDream ) aumentó la precisión media de detección de objetos a 0,439329 y redujo el error de clasificación a 0,06656, el mejor resultado hasta la fecha. Su red aplicó más de 30 capas. Ese rendimiento de las redes neuronales convolucionales en las pruebas de ImageNet fue cercano al de los humanos. ^{[ 109 ]} Los mejores algoritmos aún tienen dificultades con objetos pequeños o delgados, como una pequeña hormiga en el tallo de una flor o una persona sosteniendo una pluma en la mano. También tienen problemas con imágenes que han sido distorsionadas con filtros, un fenómeno cada vez más común con las cámaras digitales modernas. Por el contrario, ese tipo de imágenes rara vez suponen un problema para los humanos. Sin embargo, los humanos suelen tener dificultades con otros aspectos. Por ejemplo, no son buenos clasificando objetos en categorías muy específicas, como la raza de perro o la especie de ave, mientras que las redes neuronales convolucionales sí lo hacen.

En 2015, una CNN multicapa demostró la capacidad de detectar rostros desde una amplia gama de ángulos, incluso boca abajo, incluso cuando estaban parcialmente ocluidos, con un rendimiento competitivo. La red se entrenó con una base de datos de 200 000 imágenes que incluían rostros en varios ángulos y orientaciones, y otros 20 millones de imágenes sin rostros. Se utilizaron lotes de 128 imágenes durante 50 000 iteraciones. ^{[ 110 ]}

En comparación con los dominios de datos de imágenes, hay relativamente poco trabajo sobre la aplicación de CNN a la clasificación de video. El video es más complejo que las imágenes ya que tiene otra dimensión (temporal). Sin embargo, se han explorado algunas extensiones de CNN al dominio del video. Un enfoque es tratar el espacio y el tiempo como dimensiones equivalentes de la entrada y realizar convoluciones tanto en el tiempo como en el espacio. ^{[ 111 ] [ 112 ]} Otra forma es fusionar las características de dos redes neuronales convolucionales, una para el flujo espacial y otra para el flujo temporal. ^{[ 113 ] [ 114 ] [ 115 ]} Las unidades recurrentes de memoria a corto y largo plazo (LSTM) se incorporan típicamente después de la CNN para tener en cuenta las dependencias entre fotogramas o entre clips. ^{[ 116 ] [ 117 ]} Se han introducido esquemas de aprendizaje no supervisado para entrenar características espaciotemporales, basados ​​en máquinas de Boltzmann restringidas con compuertas convolucionales ^{[ 118 ]} y análisis de subespacio independiente. ^{[ 119 ]} Su aplicación se puede observar en modelos de texto a vídeo .

Las CNN también se han explorado para el procesamiento del lenguaje natural . Los modelos CNN son eficaces para varios problemas de PLN y han logrado excelentes resultados en el análisis semántico , ^{[ 120 ]} la recuperación de consultas de búsqueda, ^{[ 121 ]} el modelado de oraciones, ^{[ 122 ]} la clasificación, ^{[ 123 ]} la predicción ^{[ 124 ]} y otras tareas tradicionales de PLN. ^{[ 125 ]} En comparación con los métodos tradicionales de procesamiento del lenguaje, como las redes neuronales recurrentes , las CNN pueden representar diferentes realidades contextuales del lenguaje que no dependen de una suposición de secuencia de series, mientras que las RNN son más adecuadas cuando se requiere el modelado clásico de series temporales. ^{[ 126 ] [ 127 ] [ 128 ] [ 129 ]}

Las CNN se han aplicado en la investigación ecológica y del comportamiento para detectar y cuantificar automáticamente el comportamiento animal a partir de datos visuales, ^{[ 130 ] [ 131 ]} permitiendo la identificación de animales, ^{[ 132 ] [ 133 ]} el seguimiento de individuos, ^{[ 134 ]} la estimación de la postura, ^{[ 135 ] [ 136 ] [ 137 ]} y la clasificación de acciones específicas como la alimentación, ^{[ 138 ]} y las interacciones sociales. ^{[ 131 ] [ 138 ]} Combinados con el seguimiento de múltiples objetos y el modelado temporal, estos sistemas pueden extraer secuencias de comportamiento en grabaciones extensas, reduciendo la dependencia de la anotación manual y aumentando el rendimiento para estudios de variación individual, redes sociales y dinámicas colectivas.

Se utilizó una CNN con convoluciones 1-D en series temporales en el dominio de la frecuencia (residuo espectral) mediante un modelo no supervisado para detectar anomalías en el dominio del tiempo. ^{[ 139 ]}

Las CNN se han utilizado en el descubrimiento de fármacos . Predecir la interacción entre moléculas y proteínas biológicas puede identificar tratamientos potenciales. En 2015, Atomwise presentó AtomNet, la primera red neuronal de aprendizaje profundo para el diseño de fármacos basado en la estructura . ^{[ 140 ]} El sistema se entrena directamente con representaciones tridimensionales de interacciones químicas. De forma similar a como las redes de reconocimiento de imágenes aprenden a componer características más pequeñas y espacialmente próximas en estructuras más grandes y complejas, ^{[ 141 ]} AtomNet descubre características químicas, como aromaticidad , carbonos sp3 y enlaces de hidrógeno . Posteriormente, AtomNet se utilizó para predecir nuevas biomoléculas candidatas para múltiples dianas de enfermedades, en particular tratamientos para el virus del Ébola ^{[ 142 ]} y ^la esclerosis múltiple . ^{[ 143 ]}

Las CNN se han utilizado en el juego de damas . Entre 1999 y 2001, Fogel y Chellapilla publicaron artículos que mostraban cómo una red neuronal convolucional podía aprender a jugar a las damas mediante coevolución. El proceso de aprendizaje no utilizó partidas profesionales previas de humanos, sino que se centró en un conjunto mínimo de información contenida en el tablero: la ubicación y el tipo de piezas, y la diferencia en el número de piezas entre los dos bandos. Finalmente, el programa ( Blondie24 ) se probó en 165 partidas contra jugadores y se clasificó en el 0,4% superior. ^{[ 144 ] [ 145 ]} También obtuvo una victoria contra el programa Chinook en su nivel de juego "experto". ^{[ 146 ]}

Las CNN se han utilizado en el Go computarizado . En diciembre de 2014, Clark y Storkey publicaron un artículo que mostraba que una CNN entrenada mediante aprendizaje supervisado a partir de una base de datos de partidas de profesionales humanos podía superar a GNU Go y ganar algunas partidas contra el programa de búsqueda de árbol de Monte Carlo Fuego 1.1 en una fracción del tiempo que le tomaba a Fuego jugar. ^{[ 147 ]} Posteriormente se anunció que una gran red neuronal convolucional de 12 capas había predicho correctamente el movimiento profesional en el 55% de las posiciones, igualando la precisión de un jugador humano de 6 dan . Cuando la red convolucional entrenada se usó directamente para jugar partidas de Go, sin ninguna búsqueda, venció al programa de búsqueda tradicional GNU Go en el 97% de las partidas e igualó el rendimiento del programa de búsqueda de árbol de Monte Carlo Fuego simulando diez mil jugadas (aproximadamente un millón de posiciones) por movimiento. ^{[ 148 ]}

AlphaGo , el primero en vencer al mejor jugador humano de la época, utilizó un par de CNN para elegir los movimientos a intentar ("red de políticas") y evaluar las posiciones ("red de valores") que impulsan el MCTS. ^{[ 149 ]}

Las redes neuronales recurrentes generalmente se consideran las mejores arquitecturas de redes neuronales para la predicción de series temporales (y el modelado de secuencias en general), pero estudios recientes muestran que las redes convolucionales pueden tener un rendimiento comparable o incluso mejor. ^{[ 150 ] [ 13 ]} Las convoluciones dilatadas ^{[ 151 ]} podrían permitir que las redes neuronales convolucionales unidimensionales aprendan de manera efectiva las dependencias de las series temporales. ^{[ 152 ]} Las convoluciones se pueden implementar de manera más eficiente que las soluciones basadas en RNN, y no sufren de gradientes que se desvanecen (o explotan). ^{[ 153 ]} Las redes convolucionales pueden proporcionar un rendimiento de predicción mejorado cuando hay múltiples series temporales similares de las que aprender. ^{[ 154 ]} Las CNN también se pueden aplicar a otras tareas en el análisis de series temporales (por ejemplo, clasificación de series temporales ^{[ 155 ]} o predicción de cuantiles ^{[ 156 ]} ).

A medida que los hallazgos arqueológicos, como las tablillas de arcilla con escritura cuneiforme , se adquieren cada vez más mediante escáneres 3D , se dispone de conjuntos de datos de referencia, incluido HeiCuBeDa ^{[ 157 ]} , que proporciona casi 2000 conjuntos de datos 2D y 3D normalizados preparados con el marco de software GigaMesh . ^{[ 158 ]} Así, las medidas basadas en la curvatura se utilizan junto con redes neuronales geométricas (GNN), por ejemplo, para la clasificación por períodos de aquellas tablillas de arcilla que se encuentran entre los documentos más antiguos de la historia de la humanidad. ^{[ 159 ] [ 160 ]}

Una red Q profunda (DQN) es un tipo de modelo de aprendizaje profundo que combina una red neuronal profunda con el aprendizaje Q , una forma de aprendizaje por refuerzo . A diferencia de los agentes de aprendizaje por refuerzo anteriores, las DQN que utilizan CNN pueden aprender directamente de entradas sensoriales de alta dimensión mediante el aprendizaje por refuerzo. ^{[ 165 ]}

Los resultados preliminares se presentaron en 2014, con un artículo complementario en febrero de 2015. ^{[ 166 ]} La investigación describió una aplicación a los juegos de Atari 2600. Otros modelos de aprendizaje profundo por refuerzo la precedieron. ^{[ 167 ]}

Las redes neuronales convolucionales de creencias profundas (CDBN) tienen una estructura muy similar a las redes neuronales convolucionales y se entrenan de forma similar a las redes de creencias profundas. Por lo tanto, aprovechan la estructura 2D de las imágenes, como lo hacen las CNN, y utilizan el preentrenamiento, al igual que las redes de creencias profundas . Proporcionan una estructura genérica que puede utilizarse en muchas tareas de procesamiento de imágenes y señales. Se han obtenido resultados de referencia en conjuntos de datos de imágenes estándar como CIFAR ^{[ 168 ]} utilizando CDBN. ^{[ 169 ]}

La arquitectura de propagación directa de las redes neuronales convolucionales se extendió en la pirámide de abstracción neuronal ^{[ 170 ]} mediante conexiones laterales y de retroalimentación. La red convolucional recurrente resultante permite la incorporación flexible de información contextual para resolver iterativamente ambigüedades locales. A diferencia de los modelos anteriores, se generaron salidas similares a imágenes con la máxima resolución, por ejemplo, para tareas de segmentación semántica, reconstrucción de imágenes y localización de objetos.