AlexNet

AlexNet es el nombre de una arquitectura de red neuronal convolucional (CNN), diseñada por Alex Krizhevsky en colaboración con Ilya Sutskever y Geoffrey Hinton , quien fue asesor de doctorado de Krizhevsky en la Universidad de Toronto. ^{[1] [2]}

Los tres formaron el equipo SuperVision ^[3] y presentaron AlexNet en el ImageNet Large Scale Visual Recognition Challenge el 30 de septiembre de 2012. ^[4] La red logró un error de 15,3 %, más de 10,8 puntos porcentuales por debajo del del segundo puesto. El resultado principal del artículo original fue que la profundidad del modelo era esencial para su alto rendimiento, que era costoso en términos computacionales, pero que se hacía factible debido a la utilización de unidades de procesamiento gráfico (GPU) durante el entrenamiento. ^[2]

AlexNet no fue la primera implementación rápida de una CNN en GPU que ganó un concurso de reconocimiento de imágenes. Una CNN en GPU de K. Chellapilla et al. (2006) fue 4 veces más rápida que una implementación equivalente en CPU. ^[5] Una CNN profunda de Dan Cireșan et al. (2011) en IDSIA fue 60 veces más rápida que una versión en CPU. ^[6] Entre el 15 de mayo de 2011 y el 10 de septiembre de 2012, su CNN ganó cuatro concursos de imágenes y logró la SOTA para múltiples bases de datos de imágenes . ^{[7] [8] [9]}

Según el artículo de AlexNet, ^[2] la red anterior de Cireșan es "algo similar". Ambas fueron escritas originalmente con CUDA para funcionar con soporte de GPU . De hecho, ambas son en realidad solo variantes de los diseños de CNN introducidos por Yann LeCun et al. (1989) ^{[10] [11]} quienes aplicaron el algoritmo de retropropagación a una variante de la arquitectura de CNN original de Kunihiko Fukushima llamada " neocognitron ". ^{[12] [13]} La arquitectura fue modificada posteriormente por el método de J. Weng llamado max-pooling . ^{[14] [15]}

El conjunto de entrenamiento tenía 1,2 millones de imágenes. Se entrenó durante 90 épocas, lo que llevó de cinco a seis días en dos GPU NVIDIA GTX 580 de 3 GB. ^[2]

En 2015, AlexNet fue superado por un proyecto de Microsoft Research Asia con más de 100 capas , que ganó el concurso ImageNet 2015. ^[16]

AlexNet contiene ocho capas: las primeras cinco son capas convolucionales , algunas de ellas seguidas de capas de agrupamiento máximo , y las últimas tres son capas completamente conectadas. La red, excepto la última capa, se divide en dos copias, cada una de las cuales se ejecuta en una GPU. ^[2] La estructura completa se puede escribir como: donde $${\displaystyle ({\mathit {CNN}}\a {\mathit {RN}}\a {\mathit {MP}})^{2}\a ({\mathit {CNN}}^{3}\a {\mathit {MP}})\a ({\mathit {FC}}\a {\mathit {DO}})^{2}\a {\mathit {Lineal}}\a {\mathit {softmax}}}$$

• CNN = capa convolucional (con activación ReLU)
• RN = normalización de respuesta local
• MP = agrupamiento máximo
• FC = capa completamente conectada (con activación ReLU)
• Lineal = capa completamente conectada (sin activación)
• DO = abandono escolar

Se utilizó la función de activación ReLU no saturante , que mostró un rendimiento de entrenamiento mejorado con respecto a tanh y sigmoid . ^[2]

AlexNet se considera uno de los artículos más influyentes publicados en visión artificial, y ha impulsado la publicación de muchos más artículos que emplean CNN y GPU para acelerar el aprendizaje profundo . ^[17] A mediados de 2024, el artículo de AlexNet ha sido citado más de 157.000 veces según Google Scholar. ^[18]