Tensor trifocal

En visión artificial , el tensor trifocal (también llamado tritensor ) es una matriz de números de 3×3×3 (es decir, un tensor ) que incorpora todas las relaciones geométricas proyectivas entre tres vistas. Relaciona las coordenadas de puntos o líneas correspondientes en las tres vistas, siendo independiente de la estructura de la escena y dependiendo únicamente del movimiento relativo (es decir, la pose ) entre las tres vistas y sus parámetros de calibración intrínsecos. Por lo tanto, el tensor trifocal puede considerarse como la generalización de la matriz fundamental en tres vistas. Cabe destacar que, a pesar de que el tensor está compuesto por 27 elementos, solo 18 de ellos son realmente independientes.

También existe un denominado tensor trifocal calibrado , que relaciona las coordenadas de puntos y líneas en tres vistas a partir de sus parámetros intrínsecos y codifica la pose relativa de las cámaras hasta escala global, con un total de 11 elementos independientes o grados de libertad. La reducción de los grados de libertad permite un menor número de correspondencias para ajustar el modelo, a costa de una mayor no linealidad. ^{[ 1 ]}

El tensor también puede verse como una colección de tres matrices de rango dos de 3 x 3.${\displaystyle {\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}}$conocidas como sus secciones de correlación . Suponiendo que las matrices de proyección de tres vistas son${\displaystyle {\mathbf {P} }=[{\mathbf {I} }\;|\;{\mathbf {0} }]}$,${\displaystyle {\mathbf {P} }'=[{\mathbf {A} }\;|\;{\mathbf {a} }_{4}]}$y${\displaystyle {\mathbf {P} ''}=[{\mathbf {B} }\;|\;{\mathbf {b} }_{4}]}$, las secciones de correlación del tensor correspondiente se pueden expresar en forma cerrada como${\displaystyle {\mathbf {T} }_{i}={\mathbf {a} }_{i}{\mathbf {b} }_{4}^{t}-{\mathbf {a} }_{4}{\mathbf {b} }_{i}^{t},\;i=1\ldots 3}$, dónde ${\displaystyle {\mathbf {a} }_{i},\;{\mathbf {b} }_{i}}$son respectivamente las i ^-ésimas columnas de las matrices de la cámara. En la práctica, sin embargo, el tensor se estima a partir de coincidencias de puntos y líneas en las tres vistas.

Una de las propiedades más importantes del tensor trifocal es que da lugar a relaciones lineales entre líneas y puntos en tres imágenes. Más específicamente, para tríos de puntos correspondientes.${\displaystyle {\mathbf {x} }\;\leftrightarrow \;{\mathbf {x} }'\;\leftrightarrow \;{\mathbf {x} }''}$y cualquier línea correspondiente${\displaystyle {\mathbf {l} }\;\leftrightarrow \;{\mathbf {l} }'\;\leftrightarrow \;{\mathbf {l} }''}$A través de ellas, se cumplen las siguientes restricciones trilineales :

${\displaystyle ({\mathbf {l} }^{\prime t}\left[{\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}\right]{\mathbf {l} }'')[{\mathbf {l} }]_{\times }={\mathbf {0} }^{t}}$

${\displaystyle {\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''=0}$

${\displaystyle {\mathbf {l} }^{\prime t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }^{t}}$

${\displaystyle [{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }''={\mathbf {0} }}$

${\displaystyle [{\mathbf {x} }']_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }'']_{\times }={\mathbf {0} }_{3\times 3}}$

dónde${\displaystyle [\cdot ]_{\times }}$denota la matriz de producto cruzado antisimétrica .

Dado el tensor trifocal de tres vistas y un par de puntos coincidentes en dos vistas, es posible determinar la ubicación del punto en la tercera vista sin información adicional. Esto se conoce como transferencia de puntos y un resultado similar se aplica a líneas y cónicas. Para curvas generales, la transferencia se puede realizar mediante un modelo de curva diferencial local de círculos osculadores (es decir, curvatura), que luego se puede transferir como cónicas. ^{[ 2 ]} Se ha estudiado la transferencia de modelos de tercer orden que reflejan la torsión espacial utilizando tensores trifocales calibrados, ^{[ 3 ]} pero sigue siendo un problema abierto para tensores trifocales no calibrados.

• Hartley, Richard I. (1997). "Líneas y puntos en tres vistas y el tensor trifocal". International Journal of Computer Vision . 22 (2): 125– 140. doi : 10.1023/A:1007936012022 . S2CID 8979544 . 
• Torr, PHS; Zisserman, A. (1997). "Parametrización y cálculo robustos del tensor trifocal". Image and Vision Computing . 15 (8): 591– 607. CiteSeerX 10.1.1.41.3172 . doi : 10.1016/S0262-8856(97)00010-3 . 

• Visualización de geometría trifocal (originalmente de Sylvain Bougnoux de INRIA Robotvis, requiere Java )