Sincronización de audio y vídeo

La sincronización de audio y video ( también conocida como sincronización labial o, en su defecto, error de sincronización labial ) se refiere a la sincronización relativa de las partes de audio (sonido) y video (imagen) durante la creación, la postproducción (mezcla), la transmisión , la recepción y la reproducción. La sincronización de audio y video es relevante en televisión , videoconferencias y cine .

En la terminología de la industria, el error de sincronización labial se expresa como la cantidad de tiempo que el audio se desvía de la sincronización perfecta con el video, donde un número de tiempo positivo indica que el audio se adelanta al video y un número negativo indica que el audio se retrasa con respecto al video. ^{[ 1 ]} Esta terminología y estandarización del error numérico de sincronización labial se utiliza en la industria de la radiodifusión profesional, como lo demuestran varios artículos profesionales, ^{[ 2 ]} estándares como ITU-R BT.1359-1 y otras referencias a continuación.

Las secuencias de audio y vídeo digitales o analógicas, o los archivos de vídeo, suelen contener algún tipo de mecanismo de sincronización, ya sea en forma de datos de vídeo y audio intercalados o mediante la asignación explícita de marcas de tiempo relativas a los datos.

Los errores de sincronización AV pueden acumularse en diferentes etapas por diversas razones.

Durante la creación, pueden producirse errores de sincronización AV internos debido a las diferentes demoras en el procesamiento de la señal entre la imagen y el sonido en la cámara de vídeo y el micrófono . La demora de sincronización AV normalmente es fija. Pueden producirse errores de sincronización AV externos si un micrófono se coloca lejos de la fuente de sonido; el audio estará desincronizado porque la velocidad del sonido es mucho menor que la de la luz . Si la fuente de sonido está a 340 metros del micrófono, el sonido llega aproximadamente 1 segundo después que la luz. La demora de sincronización AV aumenta con la distancia. Durante la mezcla de videoclips, normalmente es necesario retrasar el audio o el vídeo para que estén sincronizados. La demora de sincronización AV es estática, pero puede variar con cada clip. Los efectos de edición de vídeo pueden retrasar el vídeo, lo que provoca un desfase con respecto al audio.

La transmisión ( difusión ), la recepción y la reproducción también pueden introducir errores de sincronización AV. Una videocámara con micrófonos integrados o entrada de línea puede no retrasar las rutas de audio y vídeo en la misma medida. Las videocámaras de estado sólido (por ejemplo, los sensores de imagen CCD y CMOS ) pueden retrasar la señal de vídeo en uno o más fotogramas. Los circuitos de procesamiento de señales de audio y vídeo presentan retrasos significativos (y potencialmente no constantes) en los sistemas de televisión. Los sincronizadores de fotogramas, los procesadores de efectos de vídeo digital, la reducción de ruido de vídeo, los convertidores de formato y los sistemas de compresión son ejemplos de elementos de procesamiento de señales ampliamente utilizados que pueden contribuir a un retraso de vídeo significativo.

Los circuitos de procesamiento de conversión de formato y desentrelazado en los monitores de vídeo pueden añadir uno o más fotogramas de retardo. Un monitor con altavoces integrados o salida de línea puede no retardar las señales de audio y vídeo por igual. Algunos monitores incluyen retardos de audio internos ajustables por el usuario para corregir errores.

Algunos protocolos de transmisión, como RTP, requieren un método fuera de banda para sincronizar flujos multimedia. En algunos sistemas RTP, cada flujo multimedia tiene su propia marca de tiempo, utilizando una frecuencia de reloj independiente y un valor inicial aleatorio para cada flujo. Puede ser necesario un Informe de Remitente RTCP (SR) para cada flujo con el fin de sincronizarlos. ^{[ 3 ]}

Cuando una transmisión de audio y video digital o analógica carece de un método o mecanismo de sincronización, puede desincronizarse. En las películas, estos errores de sincronización suelen deberse a que la película, desgastada, salta sobre las perforaciones del proyector debido a que estas se han roto. También pueden producirse errores si el proyeccionista coloca incorrectamente la película en el proyector.

Los errores de sincronización se han convertido en un problema importante en la industria de la televisión digital debido al uso intensivo de procesamiento de señales de video en la producción y transmisión televisiva, así como en pantallas pixeladas como LCD , DLP y plasma . Estas pantallas utilizan un procesamiento complejo para adaptar la resolución de la señal de video entrante a la resolución nativa de la pantalla, por ejemplo, para convertir video de definición estándar a alta definición. Los problemas de sincronización suelen surgir cuando se realiza un procesamiento significativo en la parte de video del programa. Entre las causas típicas de retrasos importantes en el video se encuentran los sincronizadores y los codificadores y decodificadores de compresión. Los sistemas de compresión MPEG , utilizados para la transmisión de televisión digital y el almacenamiento de programas en dispositivos de grabación y reproducción, tanto profesionales como de consumo, suelen presentar problemas con los codificadores y decodificadores.

En la televisión abierta, no es raro que el error de sincronización labial varíe en más de 100  ms (varios fotogramas de vídeo) de vez en cuando. La sincronización AV se suele corregir y mantener con un sincronizador de audio . Las organizaciones de estándares de la industria televisiva han establecido cantidades aceptables de error de sincronización de audio y vídeo y han sugerido prácticas relacionadas con el mantenimiento de una sincronización aceptable. ^{[ 4 ] [ 1 ]} La Recomendación R37 de la EBU "La sincronización relativa de los componentes de sonido y vídeo de una señal de televisión" establece que la sincronización de audio/vídeo de extremo a extremo debe estar dentro de +40  ms y -60  ms (audio antes/después del vídeo, respectivamente) y que cada etapa debe estar dentro de +5  ms y -15  ms. ^{[ 5 ]}

El resultado suele ser una desincronización entre los movimientos de la boca del personaje filmado o televisado y el diálogo hablado, de ahí el término " parpadeo labial" o "error de sincronización labial" . Este error de sincronización de audio y vídeo puede resultar molesto para el espectador e incluso provocar que no disfrute del programa, disminuya su efectividad o genere una percepción negativa del orador. ^{[ 6 ]} La posible pérdida de efectividad es especialmente preocupante para los anuncios de productos y los candidatos políticos. Organizaciones de normalización de la industria televisiva, como el Comité de Sistemas Avanzados de Televisión , se han involucrado en el establecimiento de estándares para los errores de sincronización de audio y vídeo. ^{[ 4 ]}

Debido a estas molestias, el error de sincronización AV es una preocupación para la industria de la programación televisiva, incluyendo estaciones de televisión, cadenas, anunciantes y compañías de producción de programas. Desafortunadamente, la llegada de las tecnologías de pantallas planas de alta definición (LCD, DLP y plasma), que pueden retrasar el video más que el audio, ha trasladado el problema al hogar del espectador y más allá del control exclusivo de la industria de la programación televisiva. Las compañías de productos de consumo ahora ofrecen ajustes de retardo de audio para compensar los cambios de retardo de video en televisores, barras de sonido y receptores A/V, ^{[ 7 ]} y varias compañías fabrican retardos de audio digital dedicados diseñados exclusivamente para la corrección del error de sincronización labial.

Para aplicaciones de televisión, el Comité de Sistemas Avanzados de Televisión recomienda que el audio no preceda al video por más de15 ms  y el audio no debe retrasarse con respecto al video en más de 45  ms. ^{[ 4 ]} Sin embargo, la UIT realizó pruebas estrictamente controladas con espectadores expertos y encontró que el umbral de detectabilidad es de 45  ms, lo que conduce a un retraso de 125  ms. ^{[ 1 ]} Para el cine, se considera que la sincronización labial aceptable no debe ser superior a 22 milisegundos en ninguna dirección. ^{[ 5 ] [ 8 ]}

La Asociación de Electrónica de Consumo ha publicado un conjunto de recomendaciones sobre cómo los receptores de televisión digital deben implementar la sincronización de audio/video. ^{[ 9 ]}

El estándar SMPTE ST2064, publicado en 2015, ^{[ 10 ]} proporciona tecnología para reducir o eliminar los errores de sincronización labial en la televisión digital. El estándar utiliza huellas digitales de audio y video tomadas de un programa de televisión. Estas huellas digitales se pueden recuperar y usar para corregir el error de sincronización labial acumulado. Cuando se han generado las huellas digitales para un programa de televisión y se incorpora la tecnología requerida, el televisor del espectador tiene la capacidad de medir y corregir continuamente los errores de sincronización labial. ^{[ 11 ] [ 12 ]}

Las marcas de tiempo de presentación (PTS) se incrustan en los flujos de transporte MPEG para indicar con precisión cuándo se debe presentar cada segmento de audio y video y evitar errores de sincronización AV. Sin embargo, estas marcas de tiempo a menudo se agregan después de que el video se somete a la sincronización de fotogramas, la conversión de formato y el preprocesamiento, por lo que los errores de sincronización labial creados por estas operaciones no se corregirán con la adición y el uso de las marcas de tiempo. ^{[ 13 ] [ 14 ] [ 15 ] [ 16 ]}

El Protocolo de Transporte en Tiempo Real (RTTP) sincroniza los medios utilizando marcas de tiempo de origen en una línea de tiempo arbitraria. Para sincronizar los medios, se puede utilizar un reloj en tiempo real, como los proporcionados por el Protocolo de Tiempo de Red (NTP) o el Protocolo de Tiempo de Precisión (PTP ) , descritos en el Protocolo de Descripción de Sesión (SDTP) ^{[ 17 ]} . Posteriormente, se puede utilizar un servidor para la sincronización entre múltiples receptores ^{[ 18 ] .}

• Claqueta
• Doblaje
• Retraso (videojuegos)

• Cugnini, Aldo (1 de septiembre de 2007). "Gestión de la sincronización labial" . Tecnología de la televisión, originalmente de Ingeniería de la radiodifusión. Archivado del original el 8 de octubre de 2015. Recuperado el 19 de octubre de 2008 .
• RA Salmon; Andrew Mason (enero de 2009). «Factores que afectan la percepción de la sincronización de audio y vídeo en televisión» (PDF) . BBC Research & Development . Archivado del original el 13 de septiembre de 2015.
• Sieranoja, S.; Sahidullah, Md; Kinnunen, T.; Komulainen, J.; Hadid, A. (julio de 2018). "Detección de sincronía audiovisual con características de audio optimizadas" (PDF) . Tercera Conferencia Internacional IEEE de Procesamiento de Señales e Imágenes (ICSIP) de 2018. págs. 377–381 . doi : 10.1109/SIPROCESS.2018.8600424 . ISBN  978-1-5386-6396-7. S2CID 51682024 .