Submuestreo de croma

El sistema visual humano procesa la información de color ( tono y saturación ) a aproximadamente un tercio de la resolución de la luminancia (información sobre la claridad u oscuridad de una imagen). Por lo tanto, es posible muestrear la información de color a una resolución menor manteniendo una buena calidad de imagen.

Esto se logra codificando los datos de la imagen RGB en una imagen compuesta en blanco y negro , con datos de diferencia de color separados ( croma ). Por ejemplo, con${\displaystyle Y'C_{b}C_{r}}$, codificado gamma${\displaystyle R'G'B'}$Los componentes se ponderan y luego se suman para crear la luminancia.${\displaystyle Y'}$componente. Los componentes de diferencia de color se crean restando dos de los ponderados${\displaystyle R'G'B'}$componentes del tercero. Se pueden utilizar diversos métodos de filtrado para limitar la resolución.

Cada uno de los tres componentes Y'CbCr tiene la misma frecuencia de muestreo, por lo que no hay submuestreo de croma. Este método se utiliza a veces en escáneres de película de alta gama y en la postproducción cinematográfica.

"4:4:4" podría referirse erróneamente al espacio de color R'G'B' , que implícitamente tampoco tiene submuestreo de croma (excepto en JPEG, donde R'G'B' sí puede tener submuestreo). Formatos como HDCAM SR pueden grabar 4:4:4 R'G'B' a través de HD-SDI de doble enlace .

Los dos componentes de croma se muestrean a la mitad de la frecuencia de muestreo horizontal de la luma: la resolución horizontal del croma se reduce a la mitad. Esto reduce el ancho de banda de una señal de vídeo sin comprimir en un tercio, lo que significa que para 8 bits por componente sin alfa (24 bits por píxel) solo son suficientes 16 bits, como en NV16.

Muchos formatos e interfaces de vídeo digital de alta gama utilizan este esquema:

• AVC-Intra 100
• Betacam digital
• Betacam SX
• DVCPRO50 y DVCPRO HD
• Digital-S
• CCIR 601 / Interfaz digital serie / D-1
• ProRes (HQ, 422, LT y Proxy)
• XDCAM HD422
• Canon MXF HD422

En el submuestreo de croma 4:1:1, la resolución de color horizontal se reduce a la cuarta parte y el ancho de banda se reduce a la mitad en comparación con la ausencia de submuestreo de croma. Inicialmente, el submuestreo de croma 4:1:1 del formato DV no se consideraba de calidad de transmisión y solo era aceptable para aplicaciones de gama baja y de consumo. ^{[ 3 ] [ 4 ]} Sin embargo, los formatos basados ​​en DV (algunos de los cuales utilizan submuestreo de croma 4:1:1) se han utilizado profesionalmente en la recopilación electrónica de noticias y en servidores de reproducción. DV también se ha utilizado esporádicamente en largometrajes y en cinematografía digital .

En el sistema NTSC 480i  , si la luminancia se muestrea a 13,5 MHz, esto significa que las señales Cr y Cb se muestrearán a 3,375 MHz cada una , lo que corresponde a un ancho de banda de Nyquist  máximo de 1,6875 MHz, mientras que un codificador analógico NTSC de alta gama para transmisiones tradicionales tendría un ancho de banda de Nyquist de 1,5 MHz y 0,5 MHz para los canales I/Q . Sin embargo, en la mayoría de los equipos, especialmente en televisores económicos y videograbadoras VHS / Betamax , los canales de croma solo tienen un ancho de banda de 0,5 MHz tanto para Cr como para Cb (o equivalente para I/Q). Por lo tanto, el sistema DV proporciona un ancho de banda de color superior en comparación con las mejores especificaciones analógicas compuestas para NTSC, a pesar de tener solo 1/4 del ancho de banda de croma de una señal digital "completa".    

Los formatos que utilizan el submuestreo de croma 4:1:1 incluyen:

• DVCPRO / D-7 ( NTSC y PAL )
• DV y DVCAM 480i "NTSC"
• YJK , ^{[ 5 ] [ 6 ] [ 7 ]} un espacio de color propietario implementado por el chip gráfico Yamaha V9958 ^{[ 8 ] [ 9 ] [ 10 ]} en computadoras MSX2+ . ^{[ 11 ] [ 12 ] [ 13 ]}

En 4:2:0, el muestreo horizontal se duplica en comparación con 4:1:1, pero como los canales Cb y Cr solo se muestrean en líneas alternas en este esquema, la resolución vertical se reduce a la mitad. Por lo tanto, la tasa de datos es la misma. Esto se ajusta razonablemente bien al sistema de codificación de color PAL , ya que este tiene solo la mitad de la resolución de crominancia vertical de NTSC . También se ajustaría extremadamente bien al sistema de codificación de color SECAM , ya que, al igual que ese formato, 4:2:0 solo almacena y transmite un canal de color por línea (el otro canal se recupera de la línea anterior). Sin embargo, se ha producido poco equipo que emita una señal de video analógica SECAM. En general, los territorios SECAM deben usar una pantalla compatible con PAL o un transcodificador para convertir la señal PAL a SECAM para su visualización.

Se pueden encontrar diferentes variantes de configuraciones de croma 4:2:0 en:

• Todos los estándares de codificación de vídeo ISO/IEC MPEG e ITU-T VCEG H.26x, incluidas las implementaciones H.262/MPEG-2 Parte 2 (aunque algunos perfiles de MPEG-4 Parte 2 y H.264/MPEG-4 AVC permiten esquemas de muestreo de mayor calidad, como 4:4:4).
• DVD-Video y disco Blu-ray . ^{[ 14 ] [ 15 ]}
• 576i "PAL" DV y DVCAM
• HDV
• AVCHD y AVC-Intra 50
• Códec intermedio de Apple
• Implementaciones más comunes de JPEG/JFIF y MJPEG
• VC-1
• WebP

Las señales Cb y Cr se submuestrean cada una a un factor de 2 tanto horizontal como verticalmente. La mayoría de los formatos de vídeo digital correspondientes a 576i "PAL" utilizan un submuestreo de croma 4:2:0.

Posiciones de muestreo

Existen cuatro variantes principales de esquemas 4:2:0, que presentan diferentes muestreos horizontales y verticales en relación con el "cuadrado" de 2 × 2 del tamaño de entrada original. ^{[ 16 ]}

• En MPEG-2, MPEG-4 y AVC, Cb y Cr se toman en el punto medio del borde izquierdo del cuadrado de 2 × 2. En otras palabras, tienen la misma ubicación horizontal que el píxel superior izquierdo, pero se desplazan medio píxel hacia abajo verticalmente. También se denomina "izquierda". ^{[ 17 ]}
• En JPEG/JFIF, H.261 y MPEG-1, Cb y Cr se toman en el centro de un cuadrado de 2 × 2. En otras palabras, están desplazados medio píxel a la derecha y medio píxel hacia abajo con respecto al píxel superior izquierdo. También se denomina "centro". ^{[ 17 ]}

• 

  En HEVC para contenido BT.2020 y BT.2100 (en particular en Blu-rays), Cb y Cr se muestrean en la misma ubicación que el píxel Y superior izquierdo del grupo ("coubicado"). También llamado "superior izquierdo". Un muestreo coubicado análogo se utiliza en MPEG-2 4:2:2. ^{[ 17 ]}

• 

  En 4:2:0 PAL-DV (IEC 61834-2), Cr se muestrea en la misma ubicación que el píxel Y superior izquierdo del grupo, pero Cb se muestrea un píxel más abajo. ^{[ 18 ]} También se le llama "superior izquierdo" en ffmpeg. ^{[ 17 ]}

Entrelazado y progresivo

Con material entrelazado , el submuestreo de croma 4:2:0 puede generar artefactos de movimiento si se implementa de la misma manera que para material progresivo. Las muestras de luminancia se derivan de intervalos de tiempo separados, mientras que las de croma se derivan de ambos intervalos. Esta diferencia es la que puede generar artefactos de movimiento. El estándar MPEG-2 permite un esquema de muestreo entrelazado alternativo, donde se aplica 4:2:0 a cada campo (no a ambos a la vez). Esto resuelve el problema de los artefactos de movimiento, reduce la resolución vertical de croma a la mitad y puede introducir artefactos en forma de peine en la imagen.

Original. Esta imagen muestra un solo campo. El texto en movimiento tiene un efecto de desenfoque de movimiento.

Muestreo progresivo 4:2:0 aplicado a material entrelazado en movimiento . El color precede y sigue al texto en movimiento. Esta imagen muestra un solo campo.

Muestreo entrelazado 4:2:0 aplicado a material entrelazado en movimiento . Esta imagen muestra un solo campo.

En el esquema entrelazado 4:2:0, sin embargo, la resolución vertical de la croma se reduce aproximadamente a la mitad, ya que las muestras de croma describen un área de 2 muestras de ancho por 4 muestras de alto en lugar de 2×2. Además, el desplazamiento espacial entre ambos campos puede dar lugar a la aparición de artefactos de croma con forma de peine.

Imagen fija original.

Muestreo progresivo 4:2:0 aplicado a una imagen fija. Se muestran ambos campos.

Muestreo entrelazado 4:2:0 aplicado a una imagen fija. Se muestran ambos campos.

Si se va a desentrelazar el material entrelazado, los artefactos cromáticos en forma de peine (provenientes del muestreo entrelazado 4:2:0) se pueden eliminar difuminando el croma verticalmente. ^{[ 19 ]}

Esta relación es posible y algunos códecs la admiten, pero no se usa ampliamente. Esta relación utiliza la mitad de la resolución de color vertical y una cuarta parte de la horizontal, con solo una octava parte del ancho de banda de la resolución de color máxima utilizada. El vídeo sin comprimir en este formato con cuantización de 8 bits utiliza 10 bytes por cada macropíxel (que es de 4×2 píxeles) o 10 bits por cada píxel. Tiene un ancho de banda de crominancia equivalente al de una señal PAL-I o PAL-M decodificada con un decodificador de línea de retardo, y sigue siendo muy superior a NTSC.

Sony lo utiliza en sus grabadoras HDCAM de alta definición (no en HDCAM SR). En la dimensión horizontal, la luminancia se muestrea horizontalmente a tres cuartas partes de la frecuencia de muestreo Full HD : 1440 muestras por fila en lugar de 1920. La crominancia se muestrea a 480 muestras por fila, un tercio de la frecuencia de muestreo de la luminancia. En la dimensión vertical, tanto la luminancia como la crominancia se muestrean a la frecuencia de muestreo Full HD (1080 muestras verticalmente). 

Varios esquemas heredados permiten distintos factores de submuestreo en Cb y Cr, de forma similar a como se asigna un ancho de banda diferente a los dos valores de croma en sistemas de radiodifusión como el Sistema M de CCIR . Estos esquemas no se pueden expresar con la notación J:a:b . En su lugar, adoptan la notación Y:Cb:Cr , donde cada parte describe la resolución del componente correspondiente. No se especifica si la reducción de resolución se produce en la dirección horizontal o vertical.

• En JPEG, 4:4:2 y 4:2:1 tienen la mitad de la resolución vertical de Cb en comparación con 4:4:4 y 4:4:0. ^{[ 20 ]}
• En otra versión de4:2:1 , la resolución horizontal de Cb es la mitad que la de Cr (y una cuarta parte de la resolución horizontal de Y ).
• 4:1:0.5 o 4:1:0.25 son variantes de 4:1:0 con resolución horizontal reducida en Cb, similar a la calidad VHS.

Las señales con corrección gamma, como Y'CbCr, presentan un problema en el que los errores de croma se "filtran" en la luminancia. En estas señales, un croma bajo hace que un color parezca menos brillante que uno con una luminancia equivalente. Como resultado, cuando un color saturado se mezcla con un color no saturado o complementario, se produce una pérdida de luminancia en el borde. Esto se puede observar en el ejemplo entre el magenta y el verde. ^{[ 21 ]} Este problema persiste en el vídeo HDR, donde la gamma se generaliza en una función de transferencia " EOTF ". Una EOTF más pronunciada muestra una mayor pérdida de luminancia. ^{[ 22 ]}

Algunas de las correcciones propuestas para este problema son:

• Promedio ponderado por luminancia (Kornelski, experimento para mozjpeg) ^{[ 23 ]}
• Método iterativo de YUV nítido , utilizado por WebP y opcionalmente por AVIF . El método YUV nítido asume un escalado bilineal para la croma. ^{[ 24 ]}
• Submuestreo RGB en espacio lineal antes del submuestreo de croma (HDRTools) ^{[ 22 ]}
• Corrección de luminancia iterativa o de forma cerrada para minimizar el error de luminancia (HDRTools) ^{[ 25 ]}

Rec. 2020 define una "luminancia constante" Yc'CbcCrc, que se calcula a partir de componentes RGB lineales y luego se codifica gamma. Esta versión no sufre pérdida de luminancia por diseño. ^{[ 26 ]}

Otro artefacto que puede ocurrir con el submuestreo de croma es que pueden aparecer colores fuera de gama durante la reconstrucción del croma. Supongamos que la imagen consiste en líneas rojas y negras alternas de 1 píxel y que el submuestreo omite el croma de los píxeles negros. El croma de los píxeles rojos se reconstruirá en los píxeles negros, lo que provocará que los nuevos píxeles tengan valores rojos positivos y verdes y azules negativos . Como las pantallas no pueden emitir luz negativa (la luz negativa no existe), estos valores negativos se recortarán efectivamente y el valor de luminancia resultante será demasiado alto. Otros filtros de submuestreo (especialmente el "cuadro" de promedio) tienen un problema similar, del que es más difícil hacer un ejemplo sencillo. Artefactos similares surgen en el ejemplo menos artificial de gradación cerca de un límite rojo/negro bastante nítido. ^{[ 21 ]}

Es posible que el decodificador maneje colores fuera de la gama considerando cuánta croma puede contener un valor de luma dado y distribuyéndola en el intermedio 4:4:4 en consecuencia, lo que Glenn Chan denominó "reconstrucción de croma dentro del rango". El método de "proporción" es esencialmente similar al promedio ponderado por luma de Kornelski, mientras que el método de "derrame" se asemeja a la difusión de errores . ^{[ 21 ]} La mejora de la reconstrucción de croma sigue siendo un campo de investigación activo. ^{[ 27 ]}