Hardware para inteligencia artificial

Desde la década de 2010, los avances en el hardware informático han dado lugar a métodos más eficientes para entrenar redes neuronales profundas que contienen muchas capas de unidades ocultas no lineales y una capa de salida muy grande. ^{[ 12 ]} Para 2019, las unidades de procesamiento gráfico (GPU), a menudo con mejoras específicas para IA, habían desplazado a las unidades centrales de procesamiento (CPU) como el medio dominante para entrenar IA en la nube comercial a gran escala. ^{[ 13 ]} OpenAI estimó la computación de hardware utilizada en los proyectos de aprendizaje profundo más grandes desde AlexNet (2012) hasta AlphaZero (2017), y encontró un aumento de 300.000 veces en la cantidad de computación necesaria, con una tendencia de tiempo de duplicación de 3,4 meses. ^{[ 14 ] [ 15 ]}

Desde la década de 2010, las unidades de procesamiento gráfico (GPU) se han utilizado ampliamente para entrenar e implementar modelos de aprendizaje profundo debido a su arquitectura altamente paralela y su gran ancho de banda de memoria. Las GPU modernas para centros de datos incluyen unidades dedicadas a tensores o aritmética matricial que aceleran las operaciones de redes neuronales. ^{[ 16 ]}

En 2022, NVIDIA presentó la GPU H100 de la generación Hopper, que incorpora soporte para precisión FP8 e interconexiones más rápidas para el entrenamiento de modelos a gran escala. ^{[ 17 ]} AMD y otros proveedores también han desarrollado GPU y aceleradores orientados a cargas de trabajo de IA y computación de alto rendimiento. ^{[ 18 ]}

Más allá de las GPU de propósito general, varias empresas han desarrollado circuitos integrados de aplicación específica (ASIC) y unidades de procesamiento neuronal (NPU) adaptadas a cargas de trabajo de IA. Google presentó la Unidad de Procesamiento Tensorial (TPU) en 2016 para la inferencia de aprendizaje profundo, y las generaciones posteriores admiten el entrenamiento a gran escala mediante diseños de matrices sistólicas densas e interconexiones ópticas. ^{[ 19 ]} Otros proveedores han lanzado dispositivos similares, como el Neural Engine de Apple y varias NPU integradas en dispositivos, que priorizan la inferencia energéticamente eficiente en entornos de computación móvil o de borde . ^{[ 20 ]}

Los aceleradores de IA dependen de memoria rápida y enlaces entre chips para gestionar los grandes volúmenes de datos de entrenamiento e inferencia. Las pilas de memoria de alto ancho de banda (HBM), estandarizadas como HBM3 en 2022, proporcionan un rendimiento de terabytes por segundo en las GPU y ASIC modernas. ^{[ 21 ]} Estos aceleradores suelen conectarse mediante redes dedicadas como NVLink y NVSwitch de NVIDIA o interconexiones ópticas utilizadas en sistemas TPU para escalar el rendimiento en miles de chips. ^{[ 22 ]}