Reconocimiento automático de contenido

El reconocimiento automático de contenido ( ACR ) es una tecnología que se utiliza para identificar el contenido que se reproduce en un dispositivo multimedia o que se presenta dentro de un archivo multimedia. Los dispositivos con ACR permiten recopilar automáticamente información sobre el consumo de contenido directamente en la pantalla o el altavoz, sin necesidad de intervención del usuario ni búsquedas. Esta información puede recopilarse para fines como publicidad personalizada, recomendaciones de contenido o su venta a empresas que agregan datos de clientes. ^{[ 1 ] [ 2 ]}

Para iniciar el proceso, se selecciona un breve clip multimedia (audio, vídeo o ambos) de un archivo multimedia o se captura tal como se muestra en un dispositivo como un televisor inteligente . Mediante técnicas como la identificación por huella digital y la marca de agua , el software ACR compara el contenido seleccionado con una base de datos de obras grabadas conocidas. ^{[ 2 ]} Si la huella digital del clip multimedia coincide, el software ACR devuelve los metadatos correspondientes sobre el contenido multimedia, así como otro contenido asociado o recomendado, a la aplicación cliente para su visualización al usuario o para su recopilación por parte del fabricante del dispositivo o una empresa que recopile datos de usuario. ^{[ 1 ]}

Dos de las principales metodologías para el reconocimiento automático de voz (ACR) basado en audio son la huella digital acústica y la marca de agua . De manera similar, la huella digital de vídeo se utiliza para facilitar el ACR en medios visuales.

La huella acústica genera huellas únicas a partir del propio contenido de audio. Las técnicas de huella son independientes del formato del contenido, el códec , la tasa de bits y las técnicas de compresión . ^{[ 3 ]} Esto hace posible el empleo de la huella acústica en varias redes y canales y se utiliza ampliamente para la televisión interactiva, las aplicaciones de segunda pantalla y los sectores de monitorización de contenido. ^{[ 4 ] [ 5 ]} Se informa que aplicaciones populares como Shazam , YouTube, Facebook, ^{[ 6 ]} TheTake, WeChat y Weibo utilizan la metodología de huella de audio para reconocer el contenido reproducido desde un televisor para activar funciones adicionales como votaciones, sorteos, temas o compras.

A diferencia de la huella digital, la marca de agua digital requiere la inclusión de "etiquetas" digitales integradas en el flujo de contenido digital antes de su distribución. Por ejemplo, un codificador de transmisión podría insertar una marca de agua cada pocos segundos que podría usarse para identificar el canal de transmisión, el ID del programa y la marca de tiempo. Esta marca de agua normalmente es inaudible o invisible para los usuarios, pero es detectable por dispositivos de visualización como teléfonos o tabletas que pueden leer las marcas de agua para identificar el contenido que están reproduciendo. ^{[ 5 ]} La tecnología de marca de agua también se utiliza en el campo de la protección de medios para ayudar a identificar el origen de las copias ilegales . ^{[ 7 ]}

En 2011, la tecnología ACR se aplicó al contenido de televisión por el servicio Shazam , lo que captó la atención de la industria televisiva. Shazam era anteriormente un servicio de reconocimiento de música que identificaba música a partir de grabaciones de sonido. Al utilizar su propia tecnología de huella digital para identificar canales en vivo y videos, Shazam extendió su negocio a la programación televisiva. También en 2011, Samba TV (en ese momento conocida como Flingo ^{[ 8 ]} ) presentó su tecnología patentada de video ACR, que utiliza la huella digital de video para identificar el contenido en pantalla y potenciar las aplicaciones de TV interactivas multidispositivo en Smart TVs. ^{[ 9 ]} En 2012, el proveedor de comunicaciones satelitales DIRECTV se asoció con el proveedor de fidelización de TV Viggle para brindar una experiencia de visualización interactiva en la segunda pantalla.

En 2013, LG se asoció con Cognitive Networks (posteriormente adquirida por Vizio y renombrada Inscape), un proveedor de ACR, para ofrecer interacción basada en ACR. ^{[ 10 ]} En 2015, la tecnología ACR se extendió a aún más aplicaciones y televisores inteligentes. Aplicaciones sociales y fabricantes de televisores como Facebook , Twitter , Google , WeChat , Weibo , LG , Samsung y Vizio TV han utilizado tecnología ACR, ya sea desarrollada por ellos mismos o integrada por proveedores de ACR de terceros. En 2016, se pusieron a disposición aplicaciones adicionales y sistemas operativos móviles con servicios de reconocimiento automático de contenido integrados, como Peach, Omusic y Mi OS. ^{[ 11 ] [ 12 ] [ 13 ]}

• Publicidad y recopilación de datos de clientes : Los datos recopilados sobre los hábitos de consumo de medios de los clientes pueden ser muy valiosos para los fabricantes de dispositivos, los anunciantes y las empresas de agregación de datos. La tecnología ACR ayuda a estas empresas a analizar los intereses de los clientes y recopilar datos para poder dirigirles campañas de marketing y publicidad personalizadas con mayor precisión . En noviembre de 2021, se informó que el fabricante de televisores inteligentes Vizio obtuvo mayores beneficios de la venta de datos de sus clientes que de los televisores que vendió. ^{[ 14 ] [ 15 ]}

• Medición de audiencia : Ahora es posible obtener métricas de medición de audiencia en tiempo real mediante la aplicación de la tecnología ACR en televisores inteligentes, decodificadores y dispositivos móviles como teléfonos inteligentes y tabletas. Estos datos de medición son esenciales para cuantificar el consumo de la audiencia y establecer políticas de precios publicitarios.

• Identificación de contenido : la tecnología ACR ayuda a las audiencias a recuperar información sobre el contenido que vieron o escucharon. ^{[ 16 ]} El contenido de video y música identificado se puede vincular a proveedores de contenido de Internet para visualización bajo demanda, a terceros para obtener información de contexto adicional o a medios complementarios.

• Mejora del contenido : Dado que los dispositivos pueden "conocer" el contenido que se está viendo o escuchando, los dispositivos de segunda pantalla pueden proporcionar a los usuarios contenido complementario más allá del que se presenta en la pantalla principal. La tecnología ACR no solo puede identificar el contenido, sino también la ubicación precisa dentro del mismo y presentar información adicional a los usuarios. ACR también puede habilitar diversas funciones interactivas, como encuestas, cupones, loterías o compra de productos según la fecha y hora. ^{[ 17 ]}

Organizaciones que van desde defensores de los derechos del consumidor como Electronic Frontier Foundation hasta sitios web de tecnología como PCMag han expresado serias objeciones a la recopilación de los hábitos de consumo de visualización de los usuarios por parte de sus dispositivos por motivos de privacidad. ^{[ 18 ] [ 19 ]}

Conducted tests primarily in UK and USA during 2024 by several Universities of UK, USA and Spain with specific TV models from LG and Samsung show that these devices create a consistent and constant network traffic, during tests the devices from LG sending digital fingerprints every 15 seconds and from Samsung every minute to certain network domains. It was found that ACR may not capture frames of third-party content like Netflix due to copyright issues and complicated terms with competitive aggregators, which restrict ACR for their own methods. ACR working when TV used as HDMI-only display, besides registration in TV manufacturer services, works differently in UK and USA due to different regulation by law. ACR traffic can be stopped by an opt-out mechanism.^[20]

• Content similarity detection
• Document classification
• Outline of object recognition
• Music information retrieval
• Search by sound
• Video content analysis
• Cross-device tracking