Acelerar

Los procesadores de imagen / vídeo Nikon Expeed (a menudo denominados EXPEED ) son procesadores de medios para las cámaras digitales Nikon . Realizan una gran cantidad de tareas: filtrado Bayer , desmosaico , correcciones del sensor de imagen / sustracción de fotogramas oscuros , reducción de ruido de la imagen , nitidez de la imagen , escalado de la imagen , corrección de gamma , mejora de la imagen/D-Lighting activo, conversión del espacio de color , submuestreo de croma , conversión de velocidad de cuadros , corrección de la distorsión de la lente / aberración cromática , compresión de imagen / codificación JPEG , compresión de vídeo , control de la interfaz de vídeo / pantalla , edición de imágenes digitales , detección de rostros , procesamiento / compresión / codificación de audio y almacenamiento / transmisión de datos informáticos .

La solución de sistema multiprocesador en un chip de Expeed integra un procesador de imágenes en una arquitectura de procesador multinúcleo , en la que cada núcleo de procesador puede calcular muchas instrucciones/operaciones en paralelo . Se añaden interfaces de almacenamiento y visualización y otros módulos, y un procesador de señal digital (DSP) aumenta la cantidad de cálculos simultáneos. Un microcontrolador de 32 bits en el chip inicia y controla el funcionamiento y las transferencias de datos de todos los procesadores, módulos e interfaces, y puede considerarse como la unidad de control principal de la cámara.

En cada generación, Nikon utiliza diferentes versiones para sus DSLR / MILC profesionales y de consumo , mientras que sus cámaras compactas utilizan arquitecturas totalmente diferentes. Esto es diferente, por ejemplo, del DIGIC de Canon : sus DSLR profesionales duplican los procesadores de su serie DSLR de consumo. El Expeed es un circuito integrado específico de la aplicación (ASIC) construido por Socionext específicamente para los diseños de Nikon de acuerdo con las especificaciones de Nikon.

El Nikon Expeed se basa en los procesadores de imágenes Socionext Milbeaut con arquitectura de procesador FR-V multinúcleo de 16 bits por píxel ^{[1] , que utiliza una arquitectura} de canalización altamente paralela que permite un uso eficiente del hardware , lo que aumenta el rendimiento y reduce el consumo de energía. Cada núcleo utiliza una palabra de instrucción muy larga de 256 bits de ocho vías (VLIW, MIMD ) y está organizado en una arquitectura de canalización superescalar de cuatro unidades ( unidades de procesamiento de números enteros (ALU) , de punto flotante y dos de medios) que proporciona un rendimiento máximo de hasta 28 instrucciones por ciclo de reloj y núcleo. Debido a las unidades de procesador vectorial de datos múltiples (SIMD) de cuatro vías utilizadas , los datos se procesan con hasta 112 operaciones de datos por ciclo y núcleo. ^[2]

Se utiliza un núcleo de microcontrolador Fujitsu FR RISC de 32 bits en chip para iniciar y controlar todos los procesadores, módulos e interfaces. ^{[3] [4] [5] [6] [7]} Las versiones Expeed designadas EI-14x y Expeed 2 y 3 incluyen además un motor de códec de vídeo HD (basado en FR-V) y un DSP de 16 bits con RAM Harvard de 4 bloques en chip independiente que se puede utilizar, por ejemplo, para procesamiento adicional de imágenes y audio . El Expeed 3 (FR) (EI-158/175) se basa en un Expeed 2 EI-154 mejorado con una velocidad de procesamiento muy aumentada.

Una nueva arquitectura en el Expeed 3 (ARM) ofrece una velocidad muy aumentada en su procesador de imágenes (con incluso dos pipelines en el EI-160), su codificador de vídeo H.264 y está controlado por un microcontrolador de arquitectura ARM de doble núcleo que sustituye al Fujitsu FR. ^{[8] [9]}

Los sensores de imagen CMOS / CCD están conectados con circuitos integrados externos adicionales , controladores Nikon, con la excepción de la Nikon D3100 . ^[5] Esto se hace mediante una interfaz analógica/ digital mixta que controla el sensor digitalmente, pero recibe señales analógicas con convertidores analógico-digitales (A/D) paralelos de 14 bits . Las variantes Expeed EI-142 y EI-158 utilizan ASIC Nikon para conectar todos los sensores SLR digitales de fotograma completo (FX) y, además, la Nikon D300 / D300s con 12 canales de lectura de señal analógica simultáneos y paralelos. Principalmente debido a un mayor tiempo de estabilización, permite una precisión de conversión mejorada en comparación con los cuatro canales de las anteriores Nikon D2X /D2Xs, Nikon D200 o Canon EOS 5D Mark II . ^{[11] [12] [13]} La lectura de seis canales es compatible con los EI-149 y EI-154 utilizados en los modelos D90, D5000, D7000 y D5100.

La D3100 utiliza una interfaz de sensor de Analog Devices con convertidores analógico-digitales integrados. El resultado es un rango dinámico que solo está al nivel de competidores como la Canon EOS 600D (de mayor precio) ; ^[14] inferior al de otras DSLR de Nikon con la misma variante Expeed 2.

Los conversores A/D Expeed EI-15x y EI-17x permiten una mayor frecuencia de reloj de lectura del sensor de imagen con una precisión mejorada del conversor A/D, especialmente cuando se utiliza un muestreo de 14 bits. Los conversores A/D Expeed utilizados para EI-149 o todos los EI-142 necesitan velocidades de reloj considerablemente reducidas (1,8 fps en la Nikon D3X) para una mayor precisión, lo que limita, por ejemplo, el rango dinámico de la D3 a valores ISO bajos. ^{[15] [16] [17]}

El Expeed 3 (ARM) , utilizado por primera vez en la serie Nikon 1 , conecta un flujo de datos con 24 canales digitales (bus) , utilizando convertidores A/D integrados en el chip del sensor de imagen. ^[18]

La primera variante, EI-14x, originalmente incluía un codificador de vídeo capaz de procesar resolución VGA con 30 cuadros por segundo y codificación MPEG-4 . ^[4] El procesador de vídeo basado en software realizado con procesadores FR-V permitió una reprogramación: ^{[2] [19] [20]} Al utilizar la codificación Motion JPEG con una velocidad de cuadros de 24p, Nikon logró una resolución de vídeo HD de 720p . Las ventajas son la fácil extracción de imágenes JPEG , la ausencia de artefactos de compensación de movimiento y una baja potencia de procesamiento que permite una mayor resolución, y la desventaja es un tamaño de archivo mayor, que casi alcanza el límite de 2 GB (para una compatibilidad total) en 5 minutos. La Nikon D90 fue la primera DSLR con capacidades de grabación de vídeo.

El Expeed 2 (variante EI-154) amplió enormemente las capacidades con su codificador de video HD 1080p H.264/MPEG-4 AVC . También ofrece una mayor velocidad de reloj de lectura de señal analógica del sensor de imagen, lo que reduce el efecto del obturador rotatorio . ^{[15] [16] [17] [21]}

En comparación con los competidores de Canon ( DIGIC , compresión "IPP" - equivalente a MPEG-2 ^[22] : solo se analizó un fotograma anterior ^{[23] [24]} ), el Expeed 2 ofrece compresión de vídeo también basada en fotogramas B complejos ( diferenciación bidireccional entre fotogramas y predicción de movimiento ), lo que tiene la ventaja de una mayor calidad (menor desenfoque de movimiento basado en una mejor compensación de movimiento ) incluso con una relación de compresión significativamente mayor . ^[25] Esta compresión requiere una potencia de cálculo considerablemente mayor. ^[26] En 2012, la Canon 5D Mark III introdujo una compresión similar llamada "IPB". ^[23] También se introdujo "All-I", que utiliza los fotogramas I más simples (imágenes codificadas) sin procesar ninguna diferencia entre ellos, pero utilizando una compresión baja (alta velocidad de datos) y se comporta también en otros usos como la extracción de imágenes de forma bastante similar a Motion JPEG utilizado anteriormente por Nikon. ^[27]

La Expeed 3 (FR) (variantes EI-158 y EI-175) no ofrece ningún cambio significativo, pero introdujo las primeras DSLR en ofrecer salida de video sin comprimir (8 bits 4:2:2) a través de HDMI : Nikon D4 , Nikon D800 / D800E , Nikon D600 , Nikon D7100 y Nikon D5200 . La Expeed 3 (ARM) introdujo video de alta velocidad ( cámara lenta ) en su motor de video HD H.264 mejorado.

Socionext especifica cada generación de Milbeaut con diferentes números de procesadores. Nikon no da detalles, pero utiliza diferentes procesadores designados en sus líneas profesionales y de consumo. Aunque Milbeaut ( Expeed ) se utiliza en diferentes diseños de Nikon y por otros fabricantes, el software/ firmware especifica muchas de sus funciones y detalles y el número de procesadores o módulos incluidos puede variar en este ASIC .

Las DSLR anunciadas antes de agosto de 2006 no contienen procesadores llamados Expeed (por ejemplo, el procesador Nikon D70 / D70s: EI-118), aunque eso no significa que estos procesadores utilicen una arquitectura diferente. ^[28] O el procesador Nikon D200 (EI-126) utiliza el mismo firmware, pero muy ampliado, que el D80 ("Expeed" no oficial).

La variante de procesador Expeed EI-137 se encuentra en las Nikon D40, Nikon D40x y Nikon D80, así como oficialmente en las Nikon D60 y Nikon D3000 lanzadas más tarde.

Utilizado por primera vez en la Nikon D3 y Nikon D300 en 2007, el Expeed se utilizó más tarde en la Nikon D3X , Nikon D700 y Nikon D300s , marcado EI-142, y en la variante de línea de consumo con núcleos de procesador reducidos en la Nikon D90 y Nikon D5000 , marcado EI-149. Se basa en un procesador de imágenes Socionext Milbeaut con codificador de vídeo Motion JPEG de 720p, DSP y núcleo FR-80 (versiones EI-14x). Utiliza una tecnología de proceso de 90 nanómetros .

La variante EI-137 de la Nikon D60 y la Nikon D3000  (que también se encuentra en la Nikon D40 , la Nikon D40x y la Nikon D80 ^[6]  ) se basa en la antigua Milbeaut M-3 con tecnología de 180 nanómetros (como todas las anteriores Expeed/Milbeaut desde 2001). Incluye un núcleo FR-71 con una lectura de sensor de imagen de dos canales y solo 12 bits, sin DSP, memoria más lenta y tiene un conjunto de funciones reducido. ^[29]

El codificador de video HD 1080p H.264/MPEG-4, la detección de rostros mejorada , la reducción de ruido de imagen y la corrección de distorsión de imagen ^[30] son ​​las principales características mejoradas en comparación con los Expeed EI-14x . ^[3] Se utiliza en Nikon D7000 , ^[31] Nikon D3100 y Nikon D5100 y Nikon marcado EI-154. ^[32] Aunque la frecuencia de reloj de lectura del sensor de imagen ha aumentado en un factor de 1,75, la precisión del convertidor A/D ha mejorado, especialmente cuando se utilizan 14 bits. El rendimiento del procesador de imagen ha aumentado, realizando una mayor velocidad de cuadros de disparo continuo incluso cuando se activa la reducción de ruido ISO alta o Active D-Lighting. Los Expeed EI-15x están controlados por un núcleo FR-80/FR-81 integrado. El consumo de energía también se reduce mediante el proceso Socionext de 65 nm.

El procesador Nikon D3s ^[33]  – aunque se llama Expeed 2 – utiliza casi el mismo procesador EI-142 que la D3/D3X anterior ^[34], que ofrece, por ejemplo, solo vídeo Motion JPEG de 720p. Ofrece la misma interfaz de sensor de imagen con idéntica velocidad y precisión del convertidor A/D, lo que limita el rango dinámico de la D3s a 200 y, especialmente, 100 ISO más bajo que la D7000/D5100. ^{[15] [16] [35]}

Variante utilizada en algunas cámaras compactas Coolpix . Las cámaras compactas Nikon más económicas utilizan procesadores de imagen/vídeo Sanyo o Zoran Coach; ambos con una tecnología completamente diferente y un firmware diferente al de Expeed . ^[6]

En comparación con el anterior Expeed 1 (EI-142), ofrece las mismas mejoras que el Expeed 2 EI-154 con proceso Socionext de 65 nm, incluyendo una mayor precisión del convertidor A/D y una mayor velocidad de reloj de lectura de la señal analógica del sensor de imagen, lo que reduce el obturador rotatorio. ^{[15] [16] [17] [21]} La potencia de cálculo aumenta considerablemente. Marcada como EI-158, esta variante es utilizada por la Nikon D4 y la Nikon D800 . ^{[36] [37]} El EI-158 fue el primer Expeed en ofrecer salida de vídeo sin comprimir (8 bits 4:2:2) a través de HDMI.

La Nikon D600 (desmontaje ^[38] ), la Nikon D3200 y la Nikon D5200 (desmontaje ^[39] ) utilizan un Expeed 3 (EI-175, marcado de forma diferente como ML-1131 en la D5200), que es, según Nikon, el mismo que se utiliza para las series D4 y D800. ^{[5] [40]} Su arquitectura es similar a la variante EI-154 del Expeed 2, con algunas mejoras como la memoria DDR3 y una mayor potencia de cálculo. La D5200 utiliza un paquete sobre paquete con una SDRAM DDR3 de 4  Gbit en la parte superior.

En la serie Nikon 1 de septiembre de 2011, Nikon introdujo una nueva arquitectura que cambió en gran medida: la unidad de control principal utiliza un microcontrolador ARM que requiere un nuevo firmware en comparación con el microcontrolador Fujitsu FR totalmente diferente utilizado en todos los procesadores Milbeaut y Expeed anteriores . También es el primer Expeed que utiliza lectura de sensor de imagen digital; no se necesita una interfaz de sensor de imagen analógico. En las cámaras Nikon 1 presentadas en septiembre de 2011, se utiliza 1 GB de RAM DDR2 rápida empaquetada en chips de 2 x 4 Gbit. Nikon marca EI-160, fabricado en el proceso Socionext de 65 nm.

Los motores de procesamiento de imágenes multinúcleo duales de alta velocidad con una velocidad récord mundial (según Nikon) de 600 megapíxeles por segundo, un motor de video H.264 HD mejorado y controlado por un microcontrolador ARM de doble núcleo son las principales mejoras. ^{[9] [18] [41]} Su alta velocidad permite la velocidad más rápida del mundo (según Nikon) de 60 cuadros por segundo (10 fps con enfoque automático completo ).

El Expeed 3A , sucesor del Expeed 3 EI-160 utilizado en la serie Nikon 1, se lanzó por primera vez en la Nikon 1 V2 y se caracteriza principalmente por una velocidad de procesamiento de imágenes récord mundial aumentada de hasta 850 megapíxeles por segundo. ^[42] Esto permite una velocidad de 60 cuadros por segundo (15 fps con enfoque automático completo ) incluso con el nuevo sensor de imagen de 14 megapíxeles . Está desarrollado exclusivamente para cámaras Nikon 1. ^[43]

Expeed 4 utiliza un procesador con controlador central ARM y se utiliza en las Nikon D810 , Nikon D750 , Nikon D5300 , Nikon D5500, Nikon D5600 , Nikon D3300 , Nikon D3400 , Nikon D3500 y Nikon D7200 . Ofrece captura de video en Full HD (1080p) a 50/60 fps con enfoque automático de detección de contraste mejorado y enfoque automático de vista previa en vivo . Incluye todas las características de Expeed 3 (FR) y versiones anteriores de Expeed, además de consumir menos energía.

El procesador de la Nikon D4S es idéntico al de la Nikon D4, marcado EI-158, utilizando su potencia de procesamiento con un software mejorado que permite la captura de vídeo de 1080p a 50/60 fps, fotos de 11 fps con enfoque automático mejorado, nueva reducción de ruido con algoritmo variable de contenido de imagen (adaptativo al contexto) ^{[44] [45]} y otras mejoras. ^{[46] [47]}

La versión 4A se utiliza en Nikon 1 V3 , Nikon 1 J4 y Nikon 1 S2 .

Nikon anunció el motor de procesador EXPEED 5 en sus nuevas cámaras DX y FX Nikon D500 y Nikon D5 en el CES 2016 (Las Vegas, 5 de enero de 2016) ^[48] y también se utiliza en las Nikon D7500 y D850 . ^[49]

El motor de procesamiento de imágenes EXPEED 5A se vio por primera vez en la Nikon 1 J5 , que se anunció el 2 de abril de 2015. ^[50] En la Nikon 1 J5 es capaz de 4k Ultra HD (3840*2160) a 15 fps, Full-HD (1920*1080) a 60 fps, HD (1280*720) a 120 fps, 800 x 296 a 400 fps y 400 x 144 a 1200 fps. Puede manejar fotos en ráfaga de 20MP a 20 fps con enfoque automático en cada fotograma, e incluso 60 fps con enfoque automático fijo en el primer fotograma, pero tenga en cuenta que el tamaño del búfer aún se desconoce y probablemente sea muy pequeño.

Nikon anunció el motor del procesador Expeed 6 el 23 de agosto de 2018. ^[51] Aparece en sus cámaras Nikon Z 7 , Nikon Z 6 , Nikon Z 5 , Nikon Z 50 , Nikon Z 30 , Nikon Z fc , Nikon D780 y Nikon D6 . La Nikon Z 6II y la Nikon Z 7II tienen cada una dos procesadores Expeed 6. ^{[51] [52]}

Nikon anunció el motor del procesador Expeed 7 el 28 de octubre de 2021. Aparece en las cámaras sin espejo Nikon Z 6III , Nikon Z 8 , Nikon Z 9 y Nikon Z f . Expeed 7 tiene 10 veces la velocidad de procesamiento de imágenes de su predecesor y es lo suficientemente potente como para que la cámara omita un motor de enfoque automático dedicado. ^[53] Puede manejar cálculos complejos de AF y AE a 120 ciclos por segundo, procesa por separado datos de doble transmisión de sensores de imagen apilados y permite funciones como tomas de fotografías a 120 fps, grabación de video RAW interna de 8k y una experiencia de visualización sin apagones. ^[54]

Como procesador de entrada/salida (E/S), Nikon utiliza microcontroladores externos de 32 bits para conectar sensores y pantallas adicionales : visor , pantalla superior , flash ( Speedlight )/ zapata , motores de obturador / apertura , sensores de medición / enfoque automático y control de lente / empuñadura de batería / batería . Las variantes utilizadas son la Fujitsu FR en la serie Expeed EI-14x, que cambió a la arquitectura MIPS en las series Expeed EI-15x y EI-17x. La serie profesional utiliza dos o más controladores Hitachi / Renesas H8SX . Las DSLR anteriores usaban microcontroladores H8S . ^[55]

El Expeed basado en ARM de la serie Nikon 1 con su núcleo ARM dual no necesita procesadores de E/S adicionales. ^[56] La serie Nikon 1 también incluye un procesador gráfico Epson .

Al igual que con las cámaras digitales Canon modificadas con CHDK o Magic Lantern basadas en procesadores DIGIC , un grupo de programadores llamado "Nikon Hacker" desarrolla firmware personalizado , ^[5] logrando avances recientes que incluyen un emulador FR para algunas DSLR. ^{[57] [58] [59]} Se demostró que Nikon usa el entorno de desarrollo integrado Softune junto con un kernel en tiempo real μITRON . ^[28] Actualmente hay disponible algún firmware modificado que elimina principalmente restricciones de video basadas en tiempo y archivos NEF sin comprimir, ^[60] pero no hay un firmware alternativo estable disponible, ya que el proyecto aún se encuentra en una etapa inicial.

Las actualizaciones de firmware suministradas por Nikon normalmente incluyen el firmware A para el procesador de E/S y el firmware B para controlar Expeeds mediante microcontroladores FR integrados (diferente para el Expeed 3 basado en ARM ).

Además de un análisis general del hardware y software de las cámaras D7000, D5100, D3100 y más nuevas, ^[61] el proyecto se centra en:

• Eliminación de la restricción de tiempo de video de 5 minutos: algunos firmware modificados están disponibles ^[60]
• Vídeo de alta calidad de 1080p con hasta 64 Mbps
• Vídeo sin comprimir (salida HDMI limpia) para la D5100 y otras
• Archivos NEF sin comprimir ^[60]
• Modificaciones del adaptador móvil inalámbrico WU-1a para que se pueda utilizar con otras cámaras
• Análisis y descifrado de la comunicación de la batería Nikon
• Análisis del Transmisor Inalámbrico WT-3 y su comunicación
• Eliminación del bloqueo de batería de terceros que Nikon introdujo con algunas de las últimas versiones de firmware
• Desarrollo de un emulador de Nikon ^[62]

El registro de cambios ^[63] muestra firmware también para variantes más nuevas como D800, D610, D5200 y D3200.

No se trataba de un hack de firmware, sino de un método (Photopc – control de cámara digital ^[64] ) que invocaba un modo de diagnóstico ya implementado en algunas cámaras Nikon Coolpix antiguas con procesadores Fujitsu Sparclite . Con este modo, podían escribir imágenes en formato RAW .

• Cámara digital Canon
• Sony BIONZ
• Sony Exmor