Fundación de Medios

Teóricamente, solo existe una arquitectura de Media Foundation, que es el modelo de Sesión de Medios, Canalización, Fuente de Medios, Transformación y Receptor de Medios. Sin embargo, esta arquitectura puede ser compleja de configurar y existe un margen considerable para componentes MF ligeros y relativamente fáciles de configurar, diseñados para manejar el procesamiento de datos de medios para soluciones puntuales simples. Por lo tanto, consideraciones prácticas requirieron la implementación de variaciones en el diseño fundamental de la Canalización y se desarrollaron componentes como el Lector de Fuente y el Escritor de Receptor que operan fuera del modelo de Canalización. Algunas fuentes ^{[ 2 ]} dividen la arquitectura de Media Foundation en tres clases generales.

• La arquitectura de la tubería
• La arquitectura lector-escritor
• Arquitecturas híbridas entre la arquitectura de canalización y la arquitectura lector-escritor.

La arquitectura de canalización se distingue por el uso de un objeto de sesión multimedia y una canalización independientes. Los datos multimedia fluyen desde una o más fuentes multimedia hacia uno o más sumideros multimedia y, opcionalmente, a través de una o más transformaciones multimedia. La sesión multimedia gestiona el flujo de los datos multimedia a través de la canalización, la cual puede tener múltiples bifurcaciones. Una aplicación multimedia puede acceder a los datos multimedia durante su recorrido desde una fuente multimedia a un sumidero multimedia implementando un componente de transformación multimedia personalizado e insertándolo en la ubicación adecuada de la canalización.

La arquitectura Lector-Escritor utiliza un componente llamado Lector de Origen para proporcionar los datos multimedia y un componente Escritor de Receptor para consumirlos. El Lector de Origen contiene una especie de canalización interna, pero esta no es accesible para la aplicación. Un Lector de Origen no es una Fuente de Medios y un Escritor de Receptor no es un Receptor de Medios, y ninguno de los dos puede incluirse directamente en una Canalización ni ser gestionado por una Sesión de Medios. En general, los datos multimedia fluyen del Lector de Origen al Escritor de Receptor mediante las acciones de la aplicación. La aplicación tomará los paquetes de datos multimedia (llamados Muestras de Medios) del Lector de Origen y los entregará directamente al Escritor de Receptor, o bien configurará una función de devolución de llamada en el Lector de Origen que realiza la misma operación. En efecto, al gestionar el transporte de datos, la propia aplicación desempeña una función similar a la de la Sesión de Medios en una aplicación con Arquitectura de Canalización. Dado que la aplicación MF gestiona la transmisión de las Muestras de Medios entre el Lector de Origen y el Escritor de Receptor, siempre tendrá acceso a los datos multimedia sin procesar. Los componentes Lector de origen y Escritor de destino tienen una capacidad limitada para cargar automáticamente las transformaciones de medios para ayudar con la conversión del formato de los datos multimedia; sin embargo, esto se realiza internamente y la aplicación tiene poco control sobre ello.

El lector de origen y el escritor de destino facilitan su uso, y la arquitectura de canalización ofrece un control sumamente sofisticado sobre el flujo de datos multimedia. Sin embargo, muchos de los componentes disponibles para una canalización (como el renderizador de vídeo mejorado) no son fácilmente utilizables en una aplicación con arquitectura de lector-escritor. Dado que la estructura de una muestra multimedia producida por un lector de origen es idéntica a la salida de una fuente multimedia, es posible configurar una arquitectura de canalización en la que las muestras multimedia se interceptan a medida que pasan por la canalización y se entrega una copia a un receptor multimedia. Esto se conoce como arquitectura híbrida y permite tener una aplicación que aprovecha las sofisticadas capacidades de procesamiento de la sesión multimedia y la canalización, al tiempo que utiliza la facilidad de uso de un escritor de destino. El escritor de destino no forma parte de la canalización ni interactúa con la sesión multimedia. En efecto, los datos multimedia son procesados ​​por un receptor multimedia especial llamado receptor de muestras, que consume los datos multimedia y entrega una copia al escritor de destino al hacerlo. También es posible implementar una arquitectura híbrida con una transformación de medios personalizada que copia las muestras de medios y las pasa a un escritor de destino a medida que avanzan por la canalización. En ambos casos, un componente especial en la canalización actúa como una aplicación simple de lector-escritor y alimenta al escritor de destino. En general, las arquitecturas híbridas utilizan una canalización y un escritor de destino. Teóricamente, es posible implementar un mecanismo en el que un lector de origen podría inyectar muestras de medios en una canalización, pero, a diferencia del receptor de muestras, no existe un componente estándar de este tipo.

Las transformaciones de Media Foundation (MFT) representan un modelo genérico para el procesamiento de datos multimedia. Se utilizan en Media Foundation principalmente para implementar decodificadores, codificadores, mezcladores y procesadores de señales digitales (DSP), entre fuentes y receptores multimedia . Las transformaciones de Media Foundation son una evolución del modelo de transformación introducido por primera vez con los objetos multimedia de DirectX (DMO). Su comportamiento está especificado con mayor claridad. También se pueden crear objetos híbridos DMO/MFT. Las aplicaciones pueden usar MFT dentro de la canalización de Media Foundation o directamente como objetos independientes. Las MFT pueden ser de cualquiera de los siguientes tipos:

• Códecs de audio y vídeo
• Efectos de audio y vídeo
• Multiplexores y demultiplexores
• Camisetas
• convertidores de espacio de color
• convertidores de frecuencia de muestreo
• escaladores de vídeo

Microsoft recomienda a los desarrolladores escribir una transformación de Media Foundation en lugar de un filtro DirectShow para Windows Vista , Windows 7 y Windows 8. ^{[ 3 ]} Para la edición y captura de vídeo, Microsoft recomienda usar DirectShow, ya que no son el enfoque principal de Media Foundation en Windows Vista. A partir de Windows 7, las transformaciones de Media Foundation también admiten el procesamiento, la codificación y la decodificación de vídeo acelerados por hardware para dispositivos multimedia basados ​​en AVStream. ^{[ 4 ]}

Media Foundation utiliza el Enhanced Video Renderer (EVR) para renderizar contenido de vídeo, que también funciona como mezclador. Puede mezclar hasta 16 flujos simultáneos, siendo el primero un flujo de referencia . Todos los flujos, excepto el de referencia, pueden tener información de transparencia por píxel , así como cualquier orden Z especificado . El flujo de referencia no puede tener píxeles transparentes y tiene una posición de orden Z fija, ubicada al final de todos los flujos. La imagen final se compone sobre una única superficie coloreando cada píxel según el color y la transparencia del píxel correspondiente en todos los flujos.

Internamente, el EVR utiliza un objeto mezclador para combinar las secuencias. También puede desentrelazar la salida y aplicar corrección de color, si es necesario. El fotograma compuesto se entrega a un objeto presentador , que lo programa para su renderizado en un dispositivo Direct3D, el cual comparte con el DWM y otras aplicaciones que utilizan dicho dispositivo. La velocidad de fotogramas del vídeo de salida se sincroniza con la velocidad de fotogramas de la secuencia de referencia. Si alguna de las otras secuencias (denominadas subsecuencias ) tiene una velocidad de fotogramas diferente, el EVR descarta los fotogramas adicionales (si la subsecuencia tiene una velocidad de fotogramas superior) o utiliza el mismo fotograma más de una vez (si tiene una velocidad de fotogramas inferior).

El EVR más antiguo, basado en Direct3D 9Ex, se llama EVR-9Ex y requiere que la GPU sea compatible con Direct3D 9Ex. El EVR más nuevo , basado en Direct3D 11 , se llama EVR-11 y requiere que la GPU sea compatible con Direct3D 11; EVR-11 admite características más recientes, como una alta profundidad de color . ^{[ 5 ]}

Windows Media Audio y Windows Media Video son los únicos formatos compatibles de forma predeterminada para la codificación a través de Media Foundation en Windows Vista . Para la decodificación, Windows Vista dispone de una fuente de archivos MP3 para leer flujos MP3, pero un receptor de archivos MP3 para generar MP3 solo está disponible en Windows 7. ^{[ 6 ]} Sin embargo, la compatibilidad con formatos es ampliable; los desarrolladores pueden añadir compatibilidad con otros formatos mediante la creación de MFT de codificador/decodificador y/o fuentes/receptores de medios personalizados.

Windows 7 amplía la compatibilidad con códecs disponible en Windows Vista. Incluye fuentes de archivos AVI , WAV y AAC/ADTS para leer los formatos respectivos, ^{[ 6 ]} una fuente de archivos MPEG-4 para leer formatos de contenedor MP4 , M4A, M4V, MP4V, MOV y 3GP ^{[ 7 ]} y un receptor de archivos MPEG-4 para generar la salida en formato MP4. ^{[ 8 ]}

De forma similar a Windows Vista, la compatibilidad con la transcodificación (codificación) no se expone a través de ninguna aplicación integrada de Windows, pero se incluyen varios códecs como Media Foundation Transforms (MFT). ^{[ 6 ]} Además de los codificadores y decodificadores de Windows Media Audio y Windows Media Video , y el sumidero y origen de archivos ASF introducidos en Windows Vista, ^{[ 6 ]} Windows 7 incluye un codificador H.264 con soporte para el perfil Baseline nivel 3 y perfil principal ^{[ 9 ]} y un codificador de perfil AAC de baja complejidad ( AAC-LC ) ^{[ 10 ].}

Para la reproducción de varios formatos multimedia, Windows 7 también introduce un decodificador H.264 con soporte para Baseline, Main y High-profile, hasta el nivel 5.1, ^{[ 11 ]} decodificadores multicanal AAC-LC y HE-AAC v1 ( SBR ), decodificadores estéreo HE-AAC v2 ( PS ), ^{[ 12 ]} decodificadores MPEG-4 Part 2 Simple Profile y Advanced Simple Profile ^{[ 13 ]} que incluye la decodificación de implementaciones de códecs populares como DivX , Xvid y Nero Digital , así como decodificadores MJPEG ^{[ 6 ]} y DV ^{[ 14 ]} MFT para AVI. Windows Media Player 12 utiliza los códecs Media Foundation integrados para reproducir estos formatos de forma predeterminada.

La reproducción MIDI tampoco es compatible todavía con Media Foundation.