Unidad de procesamiento de visión

Una unidad de procesamiento de visión ( VPU ) es (a partir de 2023) una clase emergente de microprocesador ; es un tipo específico de acelerador de IA , diseñado para acelerar las tareas de visión artificial . ^{[1] [2]}

Las unidades de procesamiento de visión se diferencian de las unidades de procesamiento de gráficos (que están especializadas para la codificación y decodificación de video ) en su idoneidad para ejecutar algoritmos de visión artificial como CNN ( redes neuronales convolucionales ), SIFT ( transformación de características invariantes en escala ) y similares.

Pueden incluir interfaces directas para tomar datos de las cámaras (evitando cualquier buffer externo al chip) y hacer mayor énfasis en el flujo de datos en el chip entre muchas unidades de ejecución paralelas con memoria de borrador , como un DSP multinúcleo . Pero, al igual que las unidades de procesamiento de video, pueden centrarse en la aritmética de punto fijo de baja precisión para el procesamiento de imágenes .

Se diferencian de las GPU , que contienen hardware especializado para rasterización y mapeo de texturas (para gráficos 3D ), y cuya arquitectura de memoria está optimizada para manipular imágenes de mapa de bits en la memoria externa (leer texturas y modificar búferes de cuadros , con patrones de acceso aleatorio ). Las VPU están optimizadas para el rendimiento por vatio, mientras que las GPU se centran principalmente en el rendimiento absoluto.

Los mercados objetivo son la robótica , la Internet de las cosas (IoT), las nuevas clases de cámaras digitales para realidad virtual y realidad aumentada , las cámaras inteligentes y la integración de la aceleración de la visión artificial en los teléfonos inteligentes y otros dispositivos móviles .

• Movidius Myriad X , que es la unidad de procesamiento de visión de tercera generación de la línea Myriad VPU de Intel Corporation . ^[3]
• Movidius Myriad 2 , que se utiliza en Google Project Tango , ^[4] Google Clips y drones DJI ^[5]
• Pixel Visual Core (PVC), que es un procesador de imagen , visión e inteligencia artificial totalmente programable para dispositivos móviles
• Microsoft HoloLens , que incluye un acelerador denominado unidad de procesamiento holográfico (complementario a su CPU y GPU), orientado a interpretar las entradas de la cámara, para acelerar el seguimiento del entorno y la visión para aplicaciones de realidad aumentada. ^[6]
• Eyeriss , un diseño del MIT pensado para ejecutar redes neuronales convolucionales . ^[7]
• NeuFlow, un diseño de Yann LeCun (implementado en FPGA ) para acelerar convoluciones , utilizando una arquitectura de flujo de datos.
• Mobileye EyeQ, de Mobileye
• Acelerador de visión programable (PVA), un procesador de visión VLIW de 7 vías diseñado por Nvidia .

Algunos procesadores no se describen como VPU, pero son igualmente aplicables a tareas de visión artificial. Estos pueden formar una categoría más amplia de aceleradores de IA (a la que también pueden pertenecer las VPU), sin embargo, a partir de 2016 no hay consenso sobre el nombre:

• IBM TrueNorth , un procesador neuromórfico orientado al reconocimiento de patrones de datos de sensores y tareas de inteligencia similares, incluido video/audio.
• Unidad de procesamiento neuronal Qualcomm Zeroth , otra incorporación a la clase emergente de chips orientados a sensores e IA. ^[8]
• Todos los modelos de procesadores Intel Meteor Lake tienen una unidad de procesador versátil (VPU) incorporada para acelerar la inferencia para la visión por computadora y el aprendizaje profundo. ^[9]

• Adapteva Epiphany , un procesador multinúcleo con énfasis similar en el flujo de datos en el chip, centrado en el rendimiento de punto flotante de 32 bits
• CELL , un procesador multinúcleo con características bastante consistentes con las unidades de procesamiento de visión (instrucciones SIMD y tipos de datos adecuados para video y DMA en chip entre memorias de borrador)
• Coprocesador
• Unidad de procesamiento de gráficos , también utilizada comúnmente para ejecutar algoritmos de visión. La arquitectura Pascal de NVidia incluye compatibilidad con FP16 para brindar una mejor relación costo/precisión para las cargas de trabajo de IA
• MPSoC
• OpenCL
• OpenVX
• Unidad de procesamiento de física , un intento anterior de complementar la CPU y la GPU con un acelerador de alto rendimiento
• Unidad de procesamiento tensorial , un chip utilizado internamente por Google para acelerar los cálculos de IA

• Arquitectura Eyeriss
• Unidad de procesamiento holográfico
• NeuFlow: un procesador de flujo de datos reconfigurable en tiempo de ejecución para la visión Archivado el 5 de mayo de 2017 en Wayback Machine