Matriz esencial

En visión por computadora , la matriz esencial es una${\displaystyle 3\times 3}$matriz ,${\displaystyle \mathbf {E} }$que relaciona puntos correspondientes en imágenes estéreo suponiendo que las cámaras satisfacen el modelo de cámara estenopeica .

Más específicamente, si${\displaystyle \mathbf {y} }$y${\displaystyle \mathbf {y} '}$son coordenadas de imagen normalizadas homogéneas en la imagen 1 y 2, respectivamente, entonces

${\displaystyle (\mathbf {y} ')^{\top }\,\mathbf {E} \,\mathbf {y} =0}$

si${\displaystyle \mathbf {y} }$y${\displaystyle \mathbf {y} '}$corresponder al mismo punto 3D en la escena (no es un " si y solo si " debido a que los puntos que se encuentran en la misma línea epipolar en la primera imagen se mapearán a la misma línea epipolar en la segunda imagen).

La relación anterior que define la matriz esencial fue publicada en 1981 por H. Christopher Longuet-Higgins , introduciendo el concepto a la comunidad de visión por computadora. El libro de Richard Hartley y Andrew Zisserman informa que una matriz análoga apareció en fotogrametría mucho antes. El artículo de Longuet-Higgins incluye un algoritmo para estimar${\displaystyle \mathbf {E} }$a partir de un conjunto de coordenadas de imagen normalizadas correspondientes, así como un algoritmo para determinar la posición y orientación relativas de las dos cámaras dado que${\displaystyle \mathbf {E} }$es conocido. Finalmente, muestra cómo se pueden determinar las coordenadas 3D de los puntos de la imagen con la ayuda de la matriz esencial.

La matriz esencial puede considerarse como un precursor de la matriz fundamental ,${\displaystyle \mathbf {F} }$. Ambas matrices pueden utilizarse para establecer restricciones entre puntos de imagen coincidentes, pero la matriz esencial solo puede utilizarse en relación con cámaras calibradas, ya que los parámetros internos de la cámara (matrices${\displaystyle \mathbf {K} }$y${\displaystyle \mathbf {K} '}$) debe conocerse para lograr la normalización. Sin embargo, si las cámaras están calibradas, la matriz esencial puede ser útil para determinar tanto la posición relativa como la orientación entre las cámaras y la posición 3D de los puntos de imagen correspondientes. La matriz esencial está relacionada con la matriz fundamental con

${\displaystyle \mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} .}$

Esta derivación sigue el trabajo de Longuet-Higgins.

Dos cámaras normalizadas proyectan el mundo 3D sobre sus respectivos planos de imagen. Sean las coordenadas 3D de un punto P.${\displaystyle (x_{1},x_{2},x_{3})}$y${\displaystyle (x'_{1},x'_{2},x'_{3})}$en relación con el sistema de coordenadas de cada cámara. Dado que las cámaras están normalizadas, las coordenadas de imagen correspondientes son

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}$ y ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\end{pmatrix}}}$

Una representación homogénea de las dos coordenadas de la imagen viene dada entonces por

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}$ y ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\\1\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\\x'_{3}\end{pmatrix}}}$

que también se puede escribir de forma más compacta como

${\displaystyle \mathbf {y} ={\frac {1}{x_{3}}}\,{\tilde {\mathbf {x} }}}$ y ${\displaystyle \mathbf {y} '={\frac {1}{x'_{3}}}\,{\tilde {\mathbf {x} }}'}$

dónde${\displaystyle \mathbf {y} }$y${\displaystyle \mathbf {y} '}$son representaciones homogéneas de las coordenadas de la imagen 2D y${\displaystyle {\tilde {\mathbf {x} }}}$y${\displaystyle {\tilde {\mathbf {x} }}'}$Son coordenadas 3D correctas, pero en dos sistemas de coordenadas diferentes.

Otra consecuencia de las cámaras normalizadas es que sus respectivos sistemas de coordenadas están relacionados mediante una traslación y una rotación. Esto implica que los dos conjuntos de coordenadas 3D están relacionados como

${\displaystyle {\tilde {\mathbf {x} }}'=\mathbf {R} \,({\tilde {\mathbf {x} }}-\mathbf {t} )}$

dónde${\displaystyle \mathbf {R} }$es un${\displaystyle 3\times 3}$matriz de rotación y${\displaystyle \mathbf {t} }$es un vector de traslación tridimensional.

La matriz esencial se define entonces como:

dónde${\displaystyle [\mathbf {t} ]_{\times }}$es la representación matricial del producto cruzado con${\displaystyle \mathbf {t} }$. Nota: Aquí, la transformación${\displaystyle [\mathbf {R} ^{T}|\mathbf {t} ]}$transformará los puntos de la segunda vista a la primera vista.

Para la definición de${\displaystyle \mathbf {E} }$Solo nos interesan las orientaciones de las coordenadas de imagen normalizadas ^{[ 1 ]} (Véase también: Producto triple ). Como tal, no necesitamos el componente de traslación al sustituir las coordenadas de imagen en la ecuación esencial. Para ver que esta definición de${\displaystyle \mathbf {E} }$describe una restricción en las coordenadas de imagen correspondientes multiplicar${\displaystyle \mathbf {E} }$desde la izquierda y la derecha con las coordenadas 3D del punto P en los dos sistemas de coordenadas diferentes:

${\displaystyle {\tilde {\mathbf {x} }}'^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}\,{\stackrel {(1)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,{\tilde {\mathbf {x} }}^{T}\,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(3)}{=}}\,0}$

1. Inserte las relaciones anteriores entre${\displaystyle {\tilde {\mathbf {x} }}'}$y${\displaystyle {\tilde {\mathbf {x} }}}$y la definición de${\displaystyle \mathbf {E} }$en términos de${\displaystyle \mathbf {R} }$y${\displaystyle \mathbf {t} }$.
2. ${\displaystyle \mathbf {R} ^{T}\,\mathbf {R} =\mathbf {I} }$desde${\displaystyle \mathbf {R} }$es una matriz de rotación.
3. Propiedades de la representación matricial del producto vectorial .

Finalmente, se puede asumir que ambos${\displaystyle x_{3}}$y${\displaystyle x'_{3}}$son > 0, de lo contrario no son visibles en ambas cámaras. Esto da

${\displaystyle 0=({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}={\frac {1}{x'_{3}}}({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\frac {1}{x_{3}}}{\tilde {\mathbf {x} }}=(\mathbf {y} ')^{T}\,\mathbf {E} \,\mathbf {y} }$

que es la restricción que la matriz esencial define entre los puntos de imagen correspondientes.

No todo arbitrario${\displaystyle 3\times 3}$La matriz puede ser una matriz esencial para algunas cámaras estéreo. Para ver esto, observe que se define como el producto matricial de una matriz de rotación y una matriz antisimétrica , ambas${\displaystyle 3\times 3}$La matriz antisimétrica debe tener dos valores singulares iguales y uno cero. La multiplicación de la matriz de rotación no modifica los valores singulares, lo que significa que la matriz esencial también tiene dos valores singulares iguales y uno cero. Las propiedades descritas aquí se conocen a veces como restricciones internas de la matriz esencial.

Si la matriz esencial${\displaystyle \mathbf {E} }$se multiplica por un escalar distinto de cero, el resultado es de nuevo una matriz esencial que define exactamente la misma restricción que${\displaystyle \mathbf {E} }$Sí. Esto significa que${\displaystyle \mathbf {E} }$puede verse como un elemento de un espacio proyectivo , es decir, dos matrices de este tipo se consideran equivalentes si una es una multiplicación escalar no nula de la otra. Esta es una posición relevante, por ejemplo, si${\displaystyle \mathbf {E} }$se estima a partir de datos de imagen. Sin embargo, también es posible adoptar la postura de que${\displaystyle \mathbf {E} }$se define como

${\displaystyle \mathbf {E} =[\mathbf {\widetilde {t}} ]_{\times }\,\mathbf {R} }$

dónde${\displaystyle \mathbf {\widetilde {t}} =-\mathbf {R} \mathbf {t} }$, y luego${\displaystyle \mathbf {E} }$Tiene una "escalabilidad" bien definida. Depende de la aplicación qué posición es la más relevante.

Las restricciones también pueden expresarse como

${\displaystyle \det \mathbf {E} =0}$

y

${\displaystyle 2\mathbf {E} \mathbf {E} ^{T}\mathbf {E} -\operatorname {tr} (\mathbf {E} \mathbf {E} ^{T})\mathbf {E} =0.}$

En este caso, la última ecuación es una restricción matricial, que puede interpretarse como nueve restricciones, una por cada elemento de la matriz. Estas restricciones se utilizan a menudo para determinar la matriz esencial a partir de cinco pares de puntos correspondientes.

La matriz esencial tiene cinco o seis grados de libertad, dependiendo de si se considera o no un elemento proyectivo. La matriz de rotación${\displaystyle \mathbf {R} }$y el vector de traslación${\displaystyle \mathbf {t} }$Cada una tiene tres grados de libertad, lo que da un total de seis. Sin embargo, si se considera la matriz esencial como un elemento proyectivo, se debe restar un grado de libertad relacionado con la multiplicación escalar, lo que deja un total de cinco grados de libertad.

Dado un conjunto de puntos de imagen correspondientes, es posible estimar una matriz esencial que satisfaga la restricción epipolar definitoria para todos los puntos del conjunto. Sin embargo, si los puntos de imagen presentan ruido, lo cual es común en cualquier situación práctica, no es posible encontrar una matriz esencial que satisfaga todas las restricciones de forma exacta.

Dependiendo de cómo se mida el error relacionado con cada restricción, es posible determinar o estimar una matriz esencial que satisfaga de forma óptima las restricciones para un conjunto dado de puntos de imagen correspondientes. El enfoque más directo consiste en plantear un problema de mínimos cuadrados totales , comúnmente conocido como el algoritmo de ocho puntos .

Dado que se ha determinado la matriz esencial para un par de cámaras estéreo —por ejemplo, utilizando el método de estimación anterior—, esta información puede utilizarse también para determinar la rotación.${\displaystyle \mathbf {R} }$y traducción${\displaystyle \mathbf {t} }$(hasta un factor de escala) entre los dos sistemas de coordenadas de la cámara. En estas derivaciones${\displaystyle \mathbf {E} }$se considera un elemento proyectivo en lugar de tener una escala bien determinada.

Existen muchos métodos para calcular${\displaystyle (x_{1},x_{2},x_{3})}$dadas las coordenadas de imagen normalizadas correspondientes${\displaystyle (y_{1},y_{2})}$y${\displaystyle (y'_{1},y'_{2})}$, si se conoce la matriz esencial y se han determinado las transformaciones de rotación y traslación correspondientes.

• Ajuste de paquetes
• Geometría epipolar
• Matriz fundamental
• Calibración geométrica de la cámara
• Triangulación (visión por computadora)
• Tensor trifocal

• Estimación matricial esencial en MATLAB (Manolis Lourakis).

• Una investigación de la matriz esencial por RI Hartley