Unión de imágenes

Para estimar la alineación de imágenes, se necesitan algoritmos que determinen el modelo matemático adecuado que relacione las coordenadas de píxeles de una imagen con las de otra. Para estimar estos parámetros, se pueden utilizar algoritmos que combinen comparaciones directas píxel a píxel con el descenso de gradiente (y otras técnicas de optimización).

En cada imagen se pueden encontrar características distintivas que luego se comparan de manera eficiente para establecer rápidamente correspondencias entre pares de imágenes. Cuando existen varias imágenes en un panorama, se han desarrollado técnicas para calcular un conjunto de alineaciones globalmente consistentes y para descubrir de manera eficiente qué imágenes se superponen entre sí.

Se necesita una superficie de composición final sobre la cual deformar o transformar proyectivamente y colocar todas las imágenes alineadas, así como algoritmos para fusionar sin problemas las imágenes superpuestas, incluso en presencia de paralaje, distorsión de la lente, movimiento de la escena y diferencias de exposición.

Dado que no se puede garantizar que la iluminación en dos vistas sea idéntica, unir dos imágenes podría crear una costura visible. Otras razones para la aparición de costuras podrían ser el cambio de fondo entre dos imágenes para el mismo primer plano continuo. Otros problemas importantes a considerar son la presencia de paralaje , distorsión de la lente , movimiento de la escena y diferencias de exposición . En un caso real no ideal, la intensidad varía en toda la escena, al igual que el contraste y la intensidad entre fotogramas. Además, es necesario tener en cuenta la relación de aspecto de una imagen panorámica para crear una composición visualmente agradable .

Para la creación de panorámicas , el conjunto ideal de imágenes tendrá una superposición razonable (al menos del 15 al 30 %) para compensar la distorsión de la lente y presentar suficientes detalles detectables. Además, las imágenes tendrán una exposición uniforme entre fotogramas para minimizar la probabilidad de que aparezcan uniones.

La detección de características es necesaria para encontrar automáticamente correspondencias entre imágenes. Se requieren correspondencias robustas para estimar la transformación necesaria para alinear una imagen con la imagen sobre la que se está componiendo. Las esquinas, los blobs, las esquinas de Harris y las diferencias de gaussianas de las esquinas de Harris son buenas características, ya que son repetibles y distintivas.

Uno de los primeros operadores para la detección de puntos de interés fue desarrollado por Hans Moravec en 1977 para su investigación sobre la navegación automática de un robot en un entorno complejo. Moravec también definió el concepto de "puntos de interés" en una imagen y concluyó que estos puntos podían utilizarse para encontrar regiones coincidentes en diferentes imágenes. El operador de Moravec se considera un detector de esquinas porque define los puntos de interés como aquellos donde existen grandes variaciones de intensidad en todas las direcciones. Esto suele ocurrir en las esquinas. Sin embargo, Moravec no estaba específicamente interesado en encontrar esquinas, sino simplemente regiones distintas en una imagen que pudieran utilizarse para alinear fotogramas consecutivos.

Harris y Stephens mejoraron el detector de esquinas de Moravec al considerar directamente la diferencia de la puntuación de la esquina con respecto a la dirección. Necesitaban este método como paso de procesamiento para generar interpretaciones del entorno de un robot a partir de secuencias de imágenes. Al igual que Moravec, necesitaban un método para emparejar puntos correspondientes en fotogramas consecutivos, pero estaban interesados ​​en rastrear tanto esquinas como bordes entre fotogramas.

SIFT y SURF son algoritmos recientes para la detección de puntos clave o de interés, pero cabe destacar que SURF está patentado y su uso comercial está restringido. Una vez detectada una característica, se puede aplicar un método de descripción, como el descriptor SIFT, para su posterior comparación.

El registro de imágenes implica la coincidencia de características ^{[ 8 ]} en un conjunto de imágenes o el uso de métodos de alineación directa para buscar alineaciones de imágenes que minimicen la suma de las diferencias absolutas entre píxeles superpuestos. ^{[ 9 ]} Al usar métodos de alineación directa, se puede calibrar primero las imágenes para obtener mejores resultados. Además, los usuarios pueden introducir un modelo aproximado del panorama para facilitar la etapa de coincidencia de características, de modo que, por ejemplo, solo se busquen características coincidentes en imágenes vecinas. Dado que hay un grupo más pequeño de características para la coincidencia, el resultado de la búsqueda es más preciso y la ejecución de la comparación es más rápida.

Para estimar un modelo robusto a partir de los datos, se utiliza comúnmente el método RANSAC . El nombre RANSAC es una abreviatura de " RAN dom SAmple Consensus " ( Consenso de Muestra Aleatoria). Es un método iterativo para la estimación robusta de parámetros que permite ajustar modelos matemáticos a partir de conjuntos de datos observados, los cuales pueden contener valores atípicos. El algoritmo es no determinista, ya que produce un resultado razonable solo con cierta probabilidad, la cual aumenta con cada iteración. Al ser un método probabilístico, se obtienen resultados diferentes cada vez que se ejecuta el algoritmo.

El algoritmo RANSAC ha encontrado numerosas aplicaciones en visión artificial, incluyendo la resolución simultánea del problema de correspondencia y la estimación de la matriz fundamental asociada a un par de cámaras estéreo. El método se basa en la premisa de que los datos se componen de "valores válidos" (cuya distribución puede explicarse mediante un modelo matemático) y "valores atípicos" (datos que no se ajustan a dicho modelo). Los valores atípicos se consideran puntos provenientes de ruido, mediciones erróneas o simplemente datos incorrectos.

Para el problema de estimación de homografía , RANSAC funciona ajustando varios modelos con algunos pares de puntos y luego verificando si los modelos lograron relacionar la mayoría de los puntos. El mejor modelo —la homografía que produce el mayor número de coincidencias correctas— se elige como la solución al problema. Por lo tanto, si la proporción de valores atípicos con respecto a los puntos de datos es muy baja, RANSAC genera un modelo adecuado que se ajusta a los datos.

La calibración de imágenes tiene como objetivo minimizar las diferencias entre los modelos de lentes ideales y la combinación de cámara y lente utilizada, defectos ópticos como distorsiones , diferencias de exposición entre imágenes, viñeteo , ^{[ 10 ]} respuesta de la cámara y aberraciones cromáticas . Si se utilizaron métodos de detección de características para registrar las imágenes y se registraron y guardaron las posiciones absolutas de las características, el software de unión puede utilizar los datos para la optimización geométrica de las imágenes, además de colocarlas en la panosfera. Panotools y sus diversos programas derivados utilizan este método.

Alineación

Puede ser necesario alinear una imagen para que coincida con el punto de vista de la imagen con la que se está combinando. En términos sencillos, la alineación consiste en un cambio en el sistema de coordenadas para que adopte un nuevo sistema que genere una imagen que coincida con el punto de vista requerido. Los tipos de transformaciones que puede sufrir una imagen son: traslación pura, rotación pura, una transformación de similitud que incluye traslación, rotación y escalado de la imagen que se va a transformar, y una transformación afín o proyectiva.

La transformación proyectiva es la transformación más radical que puede realizarse en una imagen (dentro del conjunto de transformaciones planas bidimensionales), donde las únicas características visibles que se conservan en la imagen transformada son las líneas rectas, mientras que en una transformación afín se mantiene el paralelismo.

La transformación proyectiva se puede describir matemáticamente como $${\displaystyle x'=H\cdot x,}$$ dónde${\displaystyle x}$son puntos en el antiguo sistema de coordenadas,${\displaystyle x'}$son los puntos correspondientes en la imagen transformada y${\displaystyle H}$es la matriz de homografía .

Expresar los puntos${\displaystyle x}$y${\displaystyle x'}$utilizando los parámetros intrínsecos de la cámara (${\displaystyle K}$y${\displaystyle K'}$) y su rotación y traslación${\displaystyle [R\,t]}$a las coordenadas del mundo real${\displaystyle X}$y${\displaystyle <math>x}$y${\displaystyle x'}$'</matemáticas>, obtenemos

${\displaystyle X=K\cdot [R\,t]\cdot X}$y${\displaystyle X'=K'\cdot [R'\,t']\cdot X'}$.

Utilizando las dos ecuaciones anteriores y la relación de homografía entre${\displaystyle x}$y${\displaystyle x'}$, podemos derivar $${\displaystyle H=K'\cdot R'\cdot R^{-1}\cdot K^{-1}.}$$

La matriz de homografía${\displaystyle H}$tiene 8 parámetros o grados de libertad. La homografía se puede calcular utilizando la Transformación Lineal Directa y la descomposición en valores singulares con $${\displaystyle A\cdot h=0,}$$ dónde${\displaystyle A}$es la matriz construida utilizando las coordenadas de las correspondencias y${\displaystyle h}$es el vector unidimensional de los 9 elementos de la matriz de homografía remodelada. Para llegar a${\displaystyle h}$Podemos aplicar simplemente SVD:${\displaystyle A=U\cdot S\cdot V^{\mathrm {T} }}$. Y${\displaystyle h=V}$(columna correspondiente al vector singular más pequeño). Esto es cierto ya que${\displaystyle h}$se encuentra en el espacio nulo de${\displaystyle A}$Dado que contamos con 8 grados de libertad, el algoritmo requiere al menos cuatro correspondencias de puntos. En el caso de que se utilice RANSAC para estimar la homografía y se disponga de múltiples correspondencias, la matriz de homografía correcta es aquella con el mayor número de puntos coincidentes.

La fusión de imágenes implica la aplicación de los ajustes realizados en la etapa de calibración, junto con la reasignación de las imágenes a una proyección de salida. Se ajustan los colores entre las imágenes para compensar las diferencias de exposición. Si procede, se realiza una fusión de alto rango dinámico ( HDR ), junto con la compensación de movimiento y la eliminación de imágenes fantasma. Las imágenes se combinan y se ajusta la línea de unión para minimizar la visibilidad de las uniones entre ellas.

La costura se puede reducir con un simple ajuste de ganancia. Esta compensación consiste básicamente en minimizar la diferencia de intensidad de los píxeles superpuestos. El algoritmo de fusión de imágenes asigna mayor peso a los píxeles cercanos al centro de la imagen. Las imágenes con ganancia compensada y las imágenes fusionadas en múltiples bandas ofrecen la mejor comparación. IJCV 2007.

El enderezamiento es otro método para rectificar la imagen. Matthew Brown y David G. Lowe, en su artículo «Unión automática de imágenes panorámicas mediante características invariantes», describen métodos de enderezamiento que aplican una rotación global tal que el vector u sea vertical (en el marco de renderizado), lo que elimina eficazmente el efecto ondulado de las panorámicas resultantes. Este proceso es similar a la rectificación de imágenes y, en general, a la corrección por software de las distorsiones ópticas en fotografías individuales.

Incluso después de la compensación de ganancia, algunos bordes de la imagen siguen siendo visibles debido a una serie de efectos no modelados, como el viñeteado (la intensidad disminuye hacia el borde de la imagen), los efectos de paralaje debidos al movimiento no deseado del centro óptico, los errores de registro debidos a un modelado incorrecto de la cámara, la distorsión radial, etc. Por estas razones, proponen una estrategia de fusión denominada fusión multibanda.

Proyección rectilínea , donde la imagen compuesta se visualiza en un plano bidimensional que interseca la panosfera en un único punto. Las líneas que son rectas en la realidad se muestran como rectas, independientemente de su dirección en la imagen. Las vistas amplias, de unos 120°, comienzan a presentar una distorsión severa cerca de los bordes de la imagen. Un ejemplo de proyección rectilínea es el uso de caras de cubo con mapeo cúbico para la visualización de panoramas. El panorama se mapea a seis cuadrados, cada cara del cubo mostrando un área de 90 por 90 grados del panorama.

Proyección cilíndrica , donde la imagen compuesta muestra un campo de visión horizontal de 360° y un campo de visión vertical limitado. Los panoramas en esta proyección están diseñados para ser vistos como si la imagen estuviera envuelta en un cilindro y vista desde su interior. Cuando se observa en un plano 2D, las líneas horizontales aparecen curvas mientras que las verticales permanecen rectas. ^{[ 11 ]} La distorsión vertical aumenta rápidamente al acercarse a la parte superior de la panosfera. Existen otros formatos cilíndricos, como Mercator y Miller, que presentan menor distorsión cerca de los polos de la panosfera.

Proyección esférica o equirrectangular —que, estrictamente hablando, es otra proyección cilíndrica— donde la imagen compuesta muestra un campo de visión de 360° horizontal por 180° vertical, es decir, la esfera completa. Los panoramas en esta proyección están pensados ​​para ser vistos como si la imagen estuviera envuelta en una esfera y observada desde dentro. Cuando se observa en un plano 2D, las líneas horizontales aparecen curvas como en una proyección cilíndrica, mientras que las verticales permanecen verticales. ^{[ 11 ]}

Dado que un panorama es básicamente un mapa de una esfera, también se pueden utilizar diversas proyecciones cartográficas de otros cartógrafos si se desea. Además, existen proyecciones especializadas que pueden ofrecer ventajas estéticas sobre las proyecciones cartográficas convencionales, como la proyección Panini de Hugin ^{[ 12 ]} —que recibe su nombre del pintor vedutista italiano Giovanni Paolo Panini ^{[ 13 ] — o la proyección Vedutismo de PTGui [ 14 ]} . Se pueden combinar diferentes proyecciones en una misma imagen para ajustar con precisión el aspecto final de la imagen de salida ^{[ 15 ]} .

La proyección estereográfica o de ojo de pez permite crear una pequeña panorámica del planeta apuntando la cámara virtual directamente hacia abajo y ajustando el campo de visión para que muestre todo el terreno y algunas zonas por encima de él; apuntar la cámara virtual hacia arriba crea un efecto de túnel. La conformidad de la proyección estereográfica puede producir un resultado visualmente más atractivo que la proyección de ojo de pez de igual área, como se explica en el artículo sobre proyección estereográfica.