Unidad de procesamiento neuronal

Los aceleradores de IA se utilizan en los procesadores de teléfonos inteligentes Apple Silicon , Qualcomm , Samsung , Huawei ^{[ 7 ]} y Google Tensor ^{[ 8 ]} . Cuando se utilizan como parte de una GPU para la renderización de gráficos, pueden reducir significativamente el uso de recursos al permitir que las partes tradicionales de la GPU rendericen una escena a una resolución y velocidad de fotogramas mucho más bajas (por ejemplo, 540p a 30  fps) y luego utilicen un modelo de IA preentrenado en la NPU para convertir esa imagen base en una salida más suave y de mayor resolución (por ejemplo, 2160p a 240  fps) en tiempo real.

Las unidades de procesamiento visual son aceleradores especializados en algoritmos de visión artificial como CNN ( redes neuronales convolucionales ) y SIFT ( transformación de características invariantes a la escala ). Se utilizan en dispositivos que necesitan realizar un seguimiento visual de objetos, como los visores de realidad aumentada y los drones . ^{[ 9 ] [ 10 ] [ 11 ]}

Más recientemente (alrededor de 2017) se agregó a los procesadores de Apple ^{[ 12 ]} y (alrededor de 2022) a los procesadores de Intel ^{[ 13 ]} y AMD . ^{[ 14 ]} Todos los modelos de procesadores Intel Meteor Lake tienen una unidad de procesamiento versátil ( VPU ) integrada para acelerar la inferencia para visión artificial y aprendizaje profundo. ^{[ 15 ]}

En los dispositivos de consumo, la NPU está diseñada para ser pequeña, de bajo consumo energético , pero razonablemente rápida al ejecutar modelos pequeños. Para ello, está diseñada para admitir operaciones de bajo ancho de bits utilizando tipos de datos como INT4, INT8, FP8 y FP16 . Una métrica común son los billones de operaciones por segundo (TOPS). Aunque TOPS no especifica explícitamente el tipo de operaciones, normalmente se trata de sumas y multiplicaciones de INT8 . ^{[ 16 ]}

Los aceleradores se utilizan en servidores de computación en la nube : por ejemplo, unidades de procesamiento tensorial (TPU) para Google Cloud Platform , ^{[ 17 ]} y chips Trainium e Inferentia para Amazon Web Services . ^{[ 18 ]} Existen muchos términos específicos de proveedores para dispositivos en esta categoría, y es una tecnología emergente sin un diseño dominante .

Desde finales de la década de 2010, las unidades de procesamiento gráfico diseñadas por empresas como Nvidia y AMD suelen incluir hardware específico para IA en forma de unidades funcionales dedicadas a operaciones de multiplicación de matrices de baja precisión . Estas GPU se utilizan comúnmente como aceleradores de IA, tanto para entrenamiento como para inferencia . ^{[ 19 ]}

Aunque las NPU están diseñadas para operaciones de multiplicación de matrices de baja precisión (por ejemplo, FP16, INT8) , pueden usarse para emular multiplicaciones de matrices de mayor precisión en computación científica. Como las GPU modernas se centran en hacer que la parte de la NPU sea rápida, usar FP64 emulado (esquema Ozaki) en las NPU puede potencialmente superar a FP64 nativo. Esto se ha demostrado usando FP64 emulado en FP16 en NVIDIA TITAN RTX y usando FP64 emulado en INT8 en GPU de consumo de NVIDIA y la GPU A100. Las GPU de consumo se beneficiaron especialmente ya que tienen una capacidad de hardware FP64 limitada, mostrando una aceleración de 6×. ^{[ 20 ]} Desde CUDA Toolkit 13.0 Update 2, cu BLAS usa automáticamente la multiplicación de matrices FP64 emulada en INT8 de precisión equivalente si es más rápida que la nativa. Esto es adicional a la característica FP32 emulada en FP16 introducida en la versión 12.9. ^{[ 21 ]}