LeNet

LeNet es una serie de estructuras de redes neuronales convolucionales propuestas por LeCun et al. ^[1] La primera versión, LeNet-1 , se entrenó en 1989. En general, cuando se hace referencia a "LeNet" sin un número, se refiere a LeNet-5 (1998), la versión más conocida.

Las redes neuronales convolucionales son un tipo de red neuronal de propagación hacia adelante cuyas neuronas artificiales pueden responder a una parte de las células circundantes en el rango de cobertura y tener un buen desempeño en el procesamiento de imágenes a gran escala. LeNet-5 fue una de las primeras redes neuronales convolucionales y fue históricamente importante durante el desarrollo del aprendizaje profundo . ^[2]

En 1988, LeCun se unió al Departamento de Investigación de Sistemas Adaptativos de los Laboratorios AT&T Bell en Holmdel , Nueva Jersey, Estados Unidos, dirigido por Lawrence D. Jackel.

En 1988, LeCun et al. publicaron un diseño de red neuronal que reconocía códigos postales escritos a mano. Sin embargo, sus núcleos convolucionales fueron diseñados a mano. ^[3]

En 1989, Yann LeCun et al. de Bell Labs aplicaron por primera vez el algoritmo de retropropagación a aplicaciones prácticas y creyeron que la capacidad de aprender la generalización de la red podría mejorarse en gran medida al proporcionar restricciones del dominio de la tarea. Combinó una red neuronal convolucional entrenada por algoritmos de retropropagación para leer números escritos a mano y la aplicó con éxito para identificar números de códigos postales escritos a mano proporcionados por el Servicio Postal de EE . UU . Este fue el prototipo de lo que más tarde se denominó LeNet-1 . ^[4] En el mismo año, LeCun describió un pequeño problema de reconocimiento de dígitos escritos a mano en otro artículo y demostró que, aunque el problema es linealmente separable, las redes de una sola capa exhibían capacidades de generalización deficientes. Al usar detectores de características invariantes al cambio en una red restringida de múltiples capas, el modelo podría funcionar muy bien. Creía que estos resultados demostraban que minimizar el número de parámetros libres en la red neuronal podría mejorar la capacidad de generalización de la red neuronal. ^[5]

En 1990, su artículo describió nuevamente la aplicación de redes de retropropagación en el reconocimiento de dígitos escritos a mano. Solo realizaron un preprocesamiento mínimo de los datos, y el modelo fue diseñado cuidadosamente para esta tarea y estaba altamente restringido. Los datos de entrada consistían en imágenes, cada una con un número, y los resultados de la prueba en los datos digitales del código postal proporcionados por el Servicio Postal de los Estados Unidos mostraron que el modelo tenía una tasa de error de solo el 1% y una tasa de rechazo de aproximadamente el 9%. ^[6]

La investigación continuó durante los siguientes cuatro años y en 1994 se desarrolló la base de datos MNIST , para la cual LeNet-1 era demasiado pequeño, por lo que se entrenó en ella un nuevo LeNet-4 . ^[7]

Un año después, el colectivo AT&T Bell Labs presentó LeNet-5 y revisó varios métodos de reconocimiento de caracteres escritos a mano en papel, utilizando dígitos escritos a mano estándar para identificar tareas de referencia. Se compararon estos modelos y los resultados mostraron que la última red superó a otros modelos. ^[8]

En 1998, Yann LeCun, Leon Bottou , Yoshua Bengio y Patrick Haffner pudieron proporcionar ejemplos de aplicaciones prácticas de redes neuronales, como dos sistemas para reconocer caracteres escritos a mano en línea y modelos que podían leer millones de cheques por día. ^[1]

La investigación tuvo un gran éxito y despertó el interés de los académicos por el estudio de las redes neuronales. Si bien la arquitectura de las redes neuronales con mejor rendimiento en la actualidad no es la misma que la de LeNet, la red fue el punto de partida para una gran cantidad de arquitecturas de redes neuronales y también sirvió de inspiración para este campo.

LeNet tiene varios motivos comunes de las redes neuronales convolucionales modernas, como la capa convolucional, la capa de agrupación y la capa de conexión completa. ^[4]

• Cada capa convolucional incluye tres partes: convolución, agrupación y funciones de activación no lineal.
• Uso de convolución para extraer características espaciales (originalmente la convolución se denominaba campos receptivos)
• Capa de agrupación de promedios de submuestreo
• función de activación tanh
• Capas completamente conectadas en las capas finales para la clasificación.
• Conexión dispersa entre capas para reducir la complejidad del cálculo

Antes de LeNet-1, la arquitectura de 1988 ^[3] era un enfoque híbrido. La primera etapa escalaba, enderezaba y esqueletizaba la imagen de entrada. La segunda etapa era una capa convolucional con 18 núcleos diseñados a mano. La tercera etapa era una red completamente conectada con una capa oculta.

La arquitectura LeNet-1 tiene 3 capas ocultas (H1-H3) y una capa de salida. ^[4] Tiene 1256 unidades, 64660 conexiones y 9760 parámetros independientes.

• H1 (Convolucional): con kernels.${\displaystyle 16\veces 16\a 12\veces 8\veces 8}$${\displaystyle 5\times 5}$
• H2 (Convolucional): con kernels.${\displaystyle 12\veces 8\veces 8\a 12\veces 4\veces 4}$${\displaystyle 8\veces 5\veces 5}$
• H3: 30 unidades totalmente conectadas a H2.
• Salida: 10 unidades completamente conectadas a H3, que representan las clases de 10 dígitos (0-9).

El conjunto de datos estaba formado por 9298 imágenes en escala de grises, digitalizadas a partir de códigos postales escritos a mano que aparecían en el correo de EE. UU. que pasaba por la oficina de correos de Buffalo, Nueva York . ^[9] El conjunto de entrenamiento tenía 7291 puntos de datos y el conjunto de prueba tenía 2007. Tanto el conjunto de entrenamiento como el de prueba contenían datos ambiguos, inclasificables y mal clasificados. El entrenamiento tardó 3 días en una estación de trabajo Sun.

En comparación con la arquitectura anterior de 1988, no había esqueletización y los núcleos convolucionales se aprendieron automáticamente mediante retropropagación.

Una versión posterior de LeNet-1 tiene cuatro capas ocultas (H1-H4) y una capa de salida. Toma una imagen de 28x28 píxeles como entrada, aunque la región activa es de 16x16 para evitar efectos de borde. ^[10]

• H1 (convolucional): con núcleos. Esta capa tiene parámetros entrenables (100 de núcleos, 4 de sesgos).${\displaystyle 28\veces 28\a 4\veces 24\veces 24}$${\displaystyle 5\times 5}$${\estilo de visualización 104}$

• H2 (Pooling): por agrupamiento promedio.${\displaystyle 4\veces 24\veces 24\a 4\veces 12\veces 12}$${\displaystyle 2\times 2}$

• H3 (convolucional): con núcleos. Algunos núcleos toman la entrada de un mapa de características, mientras que otros toman la entrada de dos mapas de características.${\displaystyle 4\veces 12\veces 12\a 12\veces 8\veces 8}$${\displaystyle 5\times 5}$

• H4 (Pooling): por agrupamiento promedio.${\displaystyle 12\veces 8\veces 8\a 12\veces 4\veces 4}$${\displaystyle 2\times 2}$

• Salida: 10 unidades completamente conectadas a H4, que representan las clases de 10 dígitos (0-9).

La red tiene 4635 unidades, 98442 conexiones y 2578 parámetros entrenables. Fue iniciada por una CNN anterior ^[11] con 4 veces más parámetros entrenables, luego optimizada por Optimal Brain Damage . ^[12] Un pase hacia adelante requiere alrededor de 140.000 operaciones de multiplicación y suma . ^[7]

LeNet-4 era una versión más grande de LeNet-1 diseñada para adaptarse a la base de datos MNIST más grande. Tenía más mapas de características en sus capas convolucionales y tenía una capa adicional de unidades ocultas, completamente conectadas tanto a la última capa convolucional como a las unidades de salida. Tiene 2 convoluciones, 2 agrupaciones promedio y 2 capas completamente conectadas. Tiene alrededor de 17000 parámetros entrenables. ^[7]

Una pasada hacia adelante requiere aproximadamente 260.000 operaciones de multiplicación y suma . ^[7]

LeNet-5 es similar a LeNet-4, pero con más capas completamente conectadas. Su arquitectura se muestra en la imagen de la derecha. Tiene 2 convoluciones, 2 agrupaciones promedio y 3 capas completamente conectadas.

LeNet-5 se entrenó durante aproximadamente 20 épocas en MNIST. Llevó de 2 a 3 días de tiempo de CPU en un servidor Silicon Graphics Origin 2000 , utilizando un solo procesador R10000 de 200 MHz . ^[1]

Reconocer imágenes de dígitos simples es la aplicación más clásica de LeNet ya que fue creado precisamente por eso.

Yann LeCun et al. crearon LeNet-1 en 1989. El artículo Backpropagation Applied to Handwritten Zip Code Recognition ^[4] demuestra cómo se pueden integrar dichas restricciones en una red de retropropagación a través de la arquitectura de la red. Y se aplicó con éxito al reconocimiento de dígitos de códigos postales escritos a mano proporcionados por el Servicio Postal de los Estados Unidos. ^[4]

Después del desarrollo de LeNet-1, como demostración de una aplicación en tiempo real, cargaron la red neuronal en un procesador de señal digital AT&T DSP-32C ^[13] con un rendimiento máximo de 12,5 millones de operaciones de multiplicación-suma por segundo. Podía normalizar y clasificar 10 dígitos por segundo, o clasificar 30 dígitos normalizados por segundo. Poco después, el grupo de investigación comenzó a trabajar con un grupo de desarrollo y un grupo de productos en NCR (adquirida por AT&T en 1991). El resultado fueron cajeros automáticos que podían leer los importes numéricos de los cheques utilizando un LeNet cargado en un DSP-32C. Más tarde, NCR implementó un sistema similar en grandes máquinas de lectura de cheques en las oficinas administrativas de los bancos . ^[14]

LeNet-5 marca el surgimiento de CNN y define los componentes básicos de CNN . ^[1] Pero no fue popular en ese momento debido a la falta de hardware, especialmente porque las GPU y otros algoritmos, como SVM , podían lograr efectos similares o incluso superar a LeNet.

Desde el éxito de AlexNet en 2012, las CNN se han convertido en la mejor opción para aplicaciones de visión artificial y se han creado muchos tipos diferentes de CNN , como la serie R- CNN . Hoy en día, los modelos de CNN son bastante diferentes de LeNet, pero todos se desarrollan sobre la base de LeNet.

Una arquitectura de árbol de tres capas que imita a LeNet-5 y que consta de una sola capa convolucional, ha logrado una tasa de éxito similar en el conjunto de datos CIFAR-10. ^[15]

El aumento del número de filtros para la arquitectura LeNet da como resultado una disminución exponencial de la tasa de error. Estos resultados indican que una red poco profunda puede lograr el mismo rendimiento que las arquitecturas de aprendizaje profundo. ^[16]

• LeNet-5, redes neuronales convolucionales. Página de proyecto en línea para LeNet mantenida por Yann LeCun, que contiene animaciones y bibliografía.
• proyectos:lush [leon.bottou.org]. Lush, un lenguaje de programación orientado a objetos. Contiene SN, un simulador de redes neuronales. La serie LeNet fue escrita en SN.