Composición de imágenes profundas

La composición de imágenes profundas es una técnica de composición y renderizado de imágenes digitales que surgió a mediados de la década de 2010. Además de los canales habituales de color y opacidad, se crea una noción de profundidad espacial. Esto permite que múltiples muestras en la profundidad de la imagen conformen el color final resultante. Esta técnica produce resultados de alta calidad y elimina artefactos en los bordes que de otro modo serían imposibles de corregir.

Los renderizadores 3D avanzados codifican datos profundos en una imagen que muestrea información sobre la trayectoria que sigue cada píxel renderizado a lo largo del eje z , extendiéndose desde la cámara virtual a través del espacio. Esto incluye el color y la opacidad de cada superficie o volumen opaco que atraviesa, así como las muestras vecinas. Podría considerarse similar a la forma en que el trazado de rayos genera trayectorias de fotones simuladas a través de dichos medios; sin embargo, el trazado de rayos y otras técnicas de renderizado tradicionales generalmente producen imágenes que contienen solo tres o cuatro canales de valores de color y opacidad por píxel, aplanados en un marco bidimensional.

Los mapas de profundidad, por otro lado, contienen información del eje Z codificada en una imagen en escala de grises . Cada nivel de gris representa una sección diferente del espacio Z. El "grosor" de cada sección se determina en el momento del renderizado, lo que permite una mayor o menor fidelidad de profundidad según la profundidad de la escena. Los mapas de profundidad han sido una gran ventaja para los compositores a la hora de combinar renderizados 3D con acción real y elementos prácticos. Para que sean útiles, el mapa debe tener una profundidad de bits suficientemente alta para codificar la separación entre objetos cercanos a la cámara y objetos cercanos al infinito. La mayoría de los paquetes de software 3D ahora son capaces de generar mapas de profundidad de 16 y 32 bits, proporcionando hasta 2 mil millones de niveles de profundidad. Sin embargo, los mapas de profundidad no incluyen información de transparencia sobre superficies o volúmenes no opacos y, por lo tanto, los objetos que se encuentran más allá y se ven a través de estos objetos semitransparentes o totalmente transparentes no tendrán información de profundidad propia y es posible que no se compongan o desenfoquen correctamente. Incluso la popular incorporación de criptomates a los flujos de trabajo de muchos estudios de postproducción y efectos visuales , si bien proporciona formas de identificación codificadas por colores para elementos individuales en una escena renderizada, lo que reduce aún más la brecha entre CGI y composición, no permite los flujos de trabajo casi automatizados y totalmente no lineales que ofrecen los datos profundos. Esto se debe a que las imágenes profundas encapsulan suficiente información 3D como para que tareas que normalmente consumen mucho tiempo, como la rotoscopia con numerosos mates de reserva para interacciones complejas entre personajes en movimiento y volúmenes ambientales semitransparentes como humo o agua, resulten esencialmente triviales. En lugar de pasar por ese proceso, se podrían generar fácilmente múltiples mates a partir de un único conjunto de imágenes profundas sin necesidad de volver a renderizar cada elemento del mate y el fondo en cada caso. Además de esa eficiencia y flexibilidad, las imágenes de datos profundos proporcionan inherentemente una calidad visual mucho mayor en áreas comunes que han sido difíciles con los renders tradicionales, como los bordes desenfocados por movimiento de los personajes con elementos semitransparentes como el cabello.

Una desventaja del uso de imágenes de alta profundidad es su considerable tamaño de archivo, ya que codifican una cantidad de datos relativamente enorme por fotograma en comparación incluso con formatos multicanal como OpenEXR .

Los renderizadores 3D generan los datos necesarios como parte del proceso de renderizado. Se recopilan muestras en profundidad y luego se combinan. Los datos profundos se pueden escribir antes de que esto suceda, por lo que no representan ninguna novedad. Generar datos profundos a partir de datos de la cámara requiere un mapa de profundidad adecuado . Esto se utiliza en algunos casos, pero aún no es lo suficientemente preciso para una representación detallada. Sin embargo, para tareas básicas de validación, puede ser suficiente.

Las imágenes de profundidad se pueden componer como las imágenes normales. El componente de profundidad facilita la determinación del orden de las capas. Tradicionalmente, esto debía ser introducido por el usuario. Las imágenes de profundidad contienen esta información por sí mismas y no requieren ninguna intervención del usuario. Los artefactos de borde se reducen, ya que los píxeles transparentes disponen de más datos con los que trabajar.

Las imágenes profundas llevan tiempo presentes en los programas de renderizado 3D . Su uso para la creación de máscaras de exclusión se inició en varias empresas de efectos visuales mediante sombreadores. Estas máscaras se pueden generar durante el renderizado. Recientemente, varias compañías han comenzado a utilizarlas de forma más interactiva; SideFX las integró en su software Houdini, y estudios como Industrial Light & Magic, DreamWorks Animation, Weta, AnimalLogic y DRD han implementado soluciones interactivas.

En 2014, la Academia de Artes y Ciencias Cinematográficas reconoció esta tecnología con sus premios anuales SciTech. El Dr. Peter Hillman fue galardonado por el desarrollo a largo plazo y el continuo avance de herramientas innovadoras, robustas y completas para la composición profunda, y Colin Doncaster, Johannes Saam, Areito Echevarria, Janne Kontkanen y Chris Cooper por el desarrollo, la creación de prototipos y la promoción de tecnologías y flujos de trabajo para la composición profunda.

• Papel Pixar
• Documento sobre imágenes profundas
• Videotutorial de Deep Imaging, tal como se utilizó en la película de 2012 El origen del planeta de los simios , con el software de composición Nuke.
• Curso de composición profunda
• Formato de archivo de imagen profunda en Google Code
• Premio de la Academia a la Tecnología
• Teoría de los píxeles profundos
• Píxeles profundos OpenEXR