unidad de procesamiento de visión

Una unidad de procesamiento de visión ( VPU ) es (a partir de 2023) una clase emergente de microprocesador ; es un tipo específico de acelerador de IA , diseñado para acelerar las tareas de visión artificial . ^{[ 1 ] [ 2 ]}

Las unidades de procesamiento de visión se distinguen de las unidades de procesamiento gráfico (que están especializadas en la codificación y decodificación de vídeo ) por su idoneidad para ejecutar algoritmos de visión artificial como CNN ( redes neuronales convolucionales ) y SIFT ( transformación de características invariantes a la escala ).

Pueden incluir interfaces directas para obtener datos de las cámaras (evitando cualquier búfer externo al chip) y hacer mayor hincapié en el flujo de datos dentro del chip entre varias unidades de ejecución paralelas con memoria de acceso rápido , como una arquitectura espacial o un DSP multinúcleo . Pero, al igual que las unidades de procesamiento de vídeo, pueden centrarse en aritmética de punto fijo de baja precisión para el procesamiento de imágenes .

Se diferencian de las GPU , que contienen hardware especializado para la rasterización y el mapeo de texturas (para gráficos 3D ), y cuya arquitectura de memoria está optimizada para manipular imágenes de mapa de bits en memoria externa (lectura de texturas y modificación de búferes de fotogramas , con patrones de acceso aleatorio ). Las VPU están optimizadas para el rendimiento por vatio, mientras que las GPU se centran principalmente en el rendimiento absoluto.

Los mercados objetivo son la robótica , el internet de las cosas (IoT), las nuevas clases de cámaras digitales para realidad virtual y realidad aumentada , las cámaras inteligentes y la integración de la aceleración de la visión artificial en teléfonos inteligentes y otros dispositivos móviles .

• Movidius Myriad X , que es la unidad de procesamiento de visión de tercera generación en la línea Myriad VPU de Intel Corporation . ^{[ 3 ]}
• Movidius Myriad 2 , que se utiliza en Google Project Tango , ^{[ 4 ]} Google Clips y drones DJI ^{[ 5 ]}
• Pixel Visual Core (PVC), que es un procesador de imagen , visión e inteligencia artificial totalmente programable para dispositivos móviles.
• Microsoft HoloLens , que incluye un acelerador denominado unidad de procesamiento holográfico (complementario a su CPU y GPU), destinado a interpretar las entradas de la cámara, para acelerar el seguimiento del entorno y la visión para aplicaciones de realidad aumentada. ^{[ 6 ]}
• Eyeriss , una arquitectura espacial diseñada por el MIT destinada a ejecutar redes neuronales convolucionales . ^{[ 7 ]}
• NeuFlow , un diseño de Yann LeCun (implementado en FPGA ) para acelerar convoluciones , utilizando una arquitectura de flujo de datos.
• Mobileye EyeQ , de Mobileye
• Acelerador de visión programable (PVA), un procesador de visión VLIW de 7 vías diseñado por Nvidia .

Algunos procesadores no se describen como VPU, pero son igualmente aplicables a tareas de visión artificial. Estos podrían formar una categoría más amplia de aceleradores de IA (a la que también podrían pertenecer las VPU); sin embargo, a fecha de 2016, no existe consenso sobre el nombre.

• IBM TrueNorth es un procesador neuromórfico diseñado para tareas similares de reconocimiento de patrones de datos de sensores e inteligencia artificial, incluyendo vídeo y audio.
• La unidad de procesamiento neuronal Zeroth de Qualcomm es otra incorporación a la clase emergente de chips orientados a sensores/IA. ^{[ 8 ]}
• Todos los modelos de procesadores Intel Meteor Lake tienen una unidad de procesamiento versátil (VPU) integrada para acelerar la inferencia para visión artificial y aprendizaje profundo. ^{[ 9 ]}

• Adapteva Epiphany , un procesador multinúcleo con un énfasis similar en el flujo de datos en el chip, se centró en el rendimiento de punto flotante de 32 bits.
• CELL , un procesador multinúcleo con características bastante consistentes con las unidades de procesamiento de visión (instrucciones SIMD y tipos de datos adecuados para vídeo, y DMA en el chip entre memorias de acceso rápido).
• Coprocesador
• Unidad de procesamiento gráfico , también utilizada comúnmente para ejecutar algoritmos de visión. La arquitectura Pascal de NVidia incluye soporte para FP16, para proporcionar una mejor relación precisión/costo para cargas de trabajo de IA.
• MPSoC
• OpenCL
• OpenVX
• Unidad de procesamiento físico , un intento anterior de complementar la CPU y la GPU con un acelerador de alto rendimiento.
• Unidad de Procesamiento Tensorial , un chip utilizado internamente por Google para acelerar los cálculos de IA.

• Arquitectura de Eyeriss
• Unidad de procesamiento holográfico
• NeuFlow: Un procesador de flujo de datos reconfigurable en tiempo de ejecución para visión artificial. Archivado el 5 de mayo de 2017 en Wayback Machine.