Ajuste de paquetes

En fotogrametría y visión estéreo computarizada , el ajuste de haces consiste en el refinamiento simultáneo de las coordenadas 3D que describen la geometría de la escena, los parámetros del movimiento relativo y las características ópticas de la(s) cámara(s) empleada(s) para adquirir las imágenes, a partir de un conjunto de imágenes que representan varios puntos 3D desde diferentes perspectivas . Su nombre hace referencia a los haces geométricos de rayos de luz que se originan en cada característica 3D y convergen en el centro óptico de cada cámara , los cuales se ajustan de forma óptima según un criterio de optimización que involucra las proyecciones de imagen correspondientes de todos los puntos.

El ajuste de haces se utiliza casi siempre como último paso de los algoritmos de reconstrucción 3D basados ​​en características . Constituye un problema de optimización sobre la estructura 3D y los parámetros de visualización (es decir, la pose de la cámara y posiblemente la calibración intrínseca y la distorsión radial), para obtener una reconstrucción que sea óptima bajo ciertas suposiciones con respecto al ruido relacionado con las características de la imagen observada ^{[ 1 ]} : Si el error de la imagen es gaussiano de media cero , entonces el ajuste de haces es el estimador de máxima verosimilitud . ^{[ 2 ] : 2} El ajuste de haces se concibió originalmente en el campo de la fotogrametría durante la década de 1950 y ha sido utilizado cada vez más por investigadores de visión por computadora durante los últimos años. ^{[ 2 ] : 2}

El ajuste de haces se reduce a minimizar el error de reproyección entre las ubicaciones de las imágenes de los puntos observados y predichos, que se expresa como la suma de los cuadrados de un gran número de funciones no lineales de valor real. Por lo tanto, la minimización se logra mediante algoritmos de mínimos cuadrados no lineales . De estos, Levenberg-Marquardt ha demostrado ser uno de los más exitosos debido a su facilidad de implementación y al uso de una estrategia de amortiguación efectiva que le permite converger rápidamente desde un amplio rango de estimaciones iniciales. Al linealizar iterativamente la función a minimizar en la vecindad de la estimación actual, el algoritmo de Levenberg-Marquardt implica la solución de sistemas lineales denominados ecuaciones normales . Al resolver los problemas de minimización que surgen en el marco del ajuste de haces, las ecuaciones normales tienen una estructura de bloques dispersos debido a la falta de interacción entre los parámetros para diferentes puntos 3D y cámaras. Esto puede aprovecharse para obtener enormes beneficios computacionales empleando una variante dispersa del algoritmo de Levenberg-Marquardt que aprovecha explícitamente el patrón de ceros de las ecuaciones normales, evitando almacenar y operar con elementos cero. ^{[ 2 ] : 3}

El ajuste de haces consiste en refinar conjuntamente un conjunto de estimaciones iniciales de parámetros de cámara y estructura para encontrar el conjunto de parámetros que predigan con mayor precisión las ubicaciones de los puntos observados en el conjunto de imágenes disponibles. Más formalmente, ^{[ 3 ]} suponen que${\displaystyle n}$Los puntos 3D se ven en${\displaystyle m}$vistas y dejar${\displaystyle \mathbf {x} _ {ij}}$ser la proyección de la${\displaystyle i}$el punto en la imagen${\displaystyle j}$. Dejar${\displaystyle \displaystyle v_ {ij}}$denotan las variables binarias que son iguales a 1 si punto${\displaystyle i}$es visible en la imagen${\displaystyle j}$y 0 en caso contrario. Supongamos también que cada cámara${\displaystyle j}$está parametrizado por un vector${\displaystyle \mathbf {a} _ {j}}$y cada punto 3D${\displaystyle i}$por un vector${\displaystyle \mathbf {b} _{i}}$. El ajuste de haces minimiza el error de reproyección total con respecto a todos los parámetros de punto y cámara 3D, específicamente

${\displaystyle \min _{\mathbf {a} _{j},\,\mathbf {b} _{i}}\displaystyle \sum _{i=1}^{n}\;\displaystyle \sum _{j=1}^{m}\;v_{ij}\,d(\mathbf {Q} (\mathbf {a} _{j},\,\mathbf {b} _{i}),\;\mathbf {x} _{ij})^{2},}$

dónde${\displaystyle \mathbf {Q} (\mathbf {a} _ {j},\,\mathbf {b} _ {i})}$es la proyección prevista del punto${\displaystyle i}$en la imagen${\displaystyle j}$y${\displaystyle d(\mathbf {x} ,\,\mathbf {y} )}$denota la distancia euclidiana entre los puntos de la imagen representados por vectores${\displaystyle \mathbf {x} }$y${\displaystyle \mathbf {y} }$Debido a que el mínimo se calcula sobre muchos puntos y muchas imágenes, el ajuste de haces es, por definición, tolerante a la falta de proyecciones de imagen, y si la métrica de distancia se elige razonablemente (por ejemplo, la distancia euclidiana), el ajuste de haces también minimizará un criterio físicamente significativo.

• Ajuste de las observaciones
• Estereoscopia
• Algoritmo de Levenberg-Marquardt
• Matriz dispersa
• ecuación de colinealidad
• Estructura a partir del movimiento
• Localización y mapeo simultáneos

• A. Zisserman. Ajuste de paquetes . CV Online.