Modelado y renderizado basados ​​en imágenes

En gráficos por computadora y visión por computadora , los métodos de modelado y renderizado basados ​​en imágenes ( IBMR, por sus siglas en inglés) se basan en un conjunto de imágenes bidimensionales de una escena para generar un modelo tridimensional y luego renderizar nuevas vistas de esta escena.

El enfoque tradicional de los gráficos por computadora se ha utilizado para crear un modelo geométrico en 3D e intentar reproyectarlo en una imagen bidimensional. La visión por computadora, por el contrario, se centra principalmente en detectar, agrupar y extraer características (bordes, caras, etc. ) presentes en una imagen dada, para luego interpretarlas como pistas tridimensionales. El modelado y renderizado basado en imágenes permite utilizar múltiples imágenes bidimensionales para generar directamente nuevas imágenes bidimensionales, omitiendo la etapa de modelado manual.

En lugar de considerar únicamente el modelo físico de un sólido, los métodos IBMR suelen centrarse más en el modelado de la luz. El concepto fundamental detrás de IBMR es la función de iluminación plenóptica , que es una parametrización del campo de luz . La función plenóptica describe los rayos de luz contenidos en un volumen dado. Se puede representar con siete dimensiones: un rayo se define por su posición.${\displaystyle (x,y,z)}$su orientación${\displaystyle (\theta,\phi)}$su longitud de onda${\displaystyle (\lambda )}$y es hora${\displaystyle (t)}$:${\displaystyle P(x,y,z,\theta ,\phi ,\lambda ,t)}$Los métodos IBMR intentan aproximar la función plenóptica para generar un nuevo conjunto de imágenes bidimensionales a partir de otra. Dada la alta dimensionalidad de esta función, los métodos prácticos imponen restricciones a los parámetros para reducir este número (normalmente de 2 a 4). Una simplificación común utilizada por la renderización de campos de luz y el Lumigraph reduce la función plenóptica a un campo de luz de cuatro dimensiones.${\displaystyle P_{4}(u,v,s,t)}$, en el que cada rayo se parametriza por sus intersecciones con dos planos paralelos fuera de la envoltura convexa del objeto. ^{[ 1 ]}

• La transformación de la vista genera una transición entre imágenes.
• La imagen panorámica genera panoramas utilizando mosaicos de imágenes fijas individuales.
• Lumigraph se basa en un muestreo denso de una escena.
• El tallado espacial genera un modelo 3D basado en una verificación de coherencia fotográfica.

• Ver síntesis
• Reconstrucción 3D
• Estructura a partir del movimiento

• Quan, Long. Modelado basado en imágenes . Springer Science & Business Media, 2010.
• Ce Zhu; Shuai Li (2016). "Síntesis de vistas basada en imágenes de profundidad: nuevas perspectivas y conocimientos sobre la generación y el relleno de agujeros". IEEE Transactions on Broadcasting . 62 (1): 82– 93. doi : 10.1109/TBC.2015.2475697 . S2CID 19100077 . 
• Mansi Sharma; Santanu Chaudhury; Brejesh Lall; MS Venkatesh (2014). "Una arquitectura flexible para 3DTV multivista basada en cámaras no calibradas". Journal of Visual Communication and Image Representation . 25 (4): 599– 621. doi : 10.1016/j.jvcir.2013.07.012 .
• Mansi Sharma; Santanu Chaudhury; Brejesh Lall (2014). Kinect-Variety Fusion: Un nuevo enfoque híbrido para la generación de contenido 3DTV sin artefactos . En 22.ª Conferencia Internacional sobre Reconocimiento de Patrones (ICPR), Estocolmo, 2014. doi : 10.1109/ICPR.2014.395 .
• Mansi Sharma; Santanu Chaudhury; Brejesh Lall (2012). Generación de vistas 3DTV con funcionalidad virtual de paneo/inclinación/zoom . Actas de la Octava Conferencia India sobre Visión por Computadora, Gráficos y Procesamiento de Imágenes, ACM Nueva York, NY, EE. UU. doi : 10.1145/2425333.2425374 .