Reconstrucción 3D

El enfoque de utilizar la visión estereoscópica binocular para adquirir información geométrica 3D de un objeto se basa en la disparidad visual . ^{[ 19 ]} La siguiente imagen proporciona un diagrama esquemático simple de la visión estereoscópica binocular con visión horizontal, donde b es la línea base entre los centros de proyección de las dos cámaras.

El origen del sistema de coordenadas de la cámara se encuentra en el centro óptico de la lente, como se muestra en la figura. En realidad, el plano de la imagen se sitúa detrás del centro óptico de la lente. Sin embargo, para simplificar el cálculo, las imágenes se dibujan delante del centro óptico de la lente mediante f. Los ejes u y v del sistema de coordenadas de la imagen${\displaystyle O_{1}uv}$están en la misma dirección que los ejes x e y del sistema de coordenadas de la cámara, respectivamente. El origen del sistema de coordenadas de la imagen se encuentra en la intersección del plano de imagen y el eje óptico. Supongamos que tal punto del mundo${\displaystyle P}$cuyos puntos de imagen correspondientes son${\ Displaystyle P_ {1} (u_ {1}, v_ {1})}$y${\ Displaystyle P_ {2} (u_ {2}, v_ {2})}$respectivamente en el plano de imagen izquierdo y derecho. Supongamos que dos cámaras están en el mismo plano, entonces las coordenadas y de${\displaystyle P_{1}}$y${\displaystyle P_{2}}$son idénticos, es decir,${\displaystyle v_{1}=v_{2}}$Según las relaciones trigonométricas ,

${\displaystyle u_{1}=f{\frac {x_{p}}{z_{p}}}}$

${\displaystyle u_{2}=f{\frac {x_{p}-b}{z_{p}}}}$

${\displaystyle v_{1}=v_{2}=f{\frac {y_{p}}{z_{p}}}}$

dónde${\ Displaystyle (x_ {p}, y_ {p}, z_ {p})}$son coordenadas de${\displaystyle P}$en el sistema de coordenadas de la cámara izquierda,${\displaystyle f}$es la distancia focal de la cámara. La disparidad visual se define como la diferencia en la ubicación del punto de imagen de un determinado punto del mundo adquirido por dos cámaras,

${\displaystyle d=u_{1}-u_{2}=f{\frac {b}{z_{p}}}}$

en base a lo cual las coordenadas de${\displaystyle P}$Se puede resolver.

Por lo tanto, una vez que se conocen las coordenadas de los puntos de la imagen, además de los parámetros de las dos cámaras, se puede determinar la coordenada 3D del punto.

${\displaystyle x_{p}={\frac {bu_{1}}{d}}}$

${\displaystyle y_{p}={\frac {bv_{1}}{d}}}$

${\displaystyle z_{p}={\frac {bf}{d}}}$

La reconstrucción 3D consta de las siguientes secciones:

La adquisición de imágenes digitales 2D es la fuente de información para la reconstrucción 3D. La reconstrucción 3D comúnmente utilizada se basa en dos o más imágenes, aunque en algunos casos puede emplear solo una. Existen diversos métodos de adquisición de imágenes que dependen de las circunstancias y los objetivos de cada aplicación. No solo deben cumplirse los requisitos de la aplicación, sino que también deben considerarse la disparidad visual, la iluminación, el rendimiento de la cámara y las características del escenario.

La calibración de la cámara en la visión estereoscópica binocular se refiere a la determinación de la relación de mapeo entre los puntos de la imagen.${\ Displaystyle P_ {1} (u_ {1}, v_ {1})}$y${\ Displaystyle P_ {2} (u_ {2}, v_ {2})}$y coordenadas espaciales${\ Displaystyle P (x_ {p}, y_ {p}, z_ {p})}$En el escenario 3D, la calibración de la cámara es una parte básica y esencial en la reconstrucción 3D mediante visión estéreo binocular.

El objetivo de la extracción de características es obtener las características de las imágenes, mediante las cuales se procesa la correspondencia estéreo. Por consiguiente, las características de las imágenes están estrechamente ligadas a la elección de los métodos de correspondencia. No existe una teoría universalmente aplicable para la extracción de características, lo que genera una gran diversidad de correspondencias estéreo en la investigación de la visión estéreo binocular.

La correspondencia estéreo consiste en establecer la correspondencia entre factores primitivos en las imágenes, es decir, hacer coincidir${\ Displaystyle P_ {1} (u_ {1}, v_ {1})}$y${\ Displaystyle P_ {2} (u_ {2}, v_ {2})}$a partir de dos imágenes. Deben tenerse en cuenta ciertos factores de interferencia en el escenario, como la iluminación, el ruido, las características físicas de la superficie, etc.

Gracias a una correspondencia precisa, combinada con los parámetros de ubicación de la cámara, se puede recuperar información geométrica 3D sin dificultad. Dado que la precisión de la reconstrucción 3D depende de la precisión de la correspondencia, el error en los parámetros de ubicación de la cámara, etc., los procedimientos previos deben realizarse con cuidado para lograr una reconstrucción 3D relativamente precisa.

La rutina clínica de diagnóstico, seguimiento del paciente, cirugía asistida por computadora, planificación quirúrgica, etc., se facilita mediante modelos 3D precisos de la parte deseada de la anatomía humana. La principal motivación detrás de la reconstrucción 3D incluye:

• Mayor precisión gracias a la agregación de múltiples vistas.
• Estimaciones detalladas de la superficie.
• Puede utilizarse para planificar, simular, guiar o asistir de cualquier otra forma a un cirujano en la realización de un procedimiento médico.
• Se puede determinar la posición y orientación precisas de la anatomía del paciente.
• Resulta útil en diversas áreas clínicas, como la planificación y verificación del tratamiento de radioterapia, la cirugía de columna, el reemplazo de cadera, las neurointervenciones y la colocación de stents aórticos.

Aplicaciones:

La reconstrucción 3D tiene aplicaciones en muchos campos. Entre ellos se incluyen:

• Ingeniería de pavimentos ^{[ 7 ] [ 20 ]}
• Medicina ^{[ 4 ]}
• Reconstrucción de vídeo desde un punto de vista libre ^{[ 21 ]}
• Mapeo robótico ^{[ 22 ]}
• Planificación urbana ^{[ 23 ]}
• Reconstrucción tomográfica ^{[ 24 ]}
• Juegos ^{[ 25 ]}
• Entornos virtuales y turismo virtual ^{[ 25 ]}
• observación de la Tierra
• Arqueología ^{[ 26 ]}
• Realidad aumentada ^{[ 27 ]}
• Ingeniería inversa ^{[ 28 ]}
• Captura de movimiento ^{[ 29 ]}
• Preservación digital del patrimonio cultural ^{[ 30 ]}
• reconocimiento de objetos 3D , ^{[ 31 ]} reconocimiento de gestos y seguimiento de manos ^{[ 32 ]}

Planteamiento del problema:

La mayoría de los algoritmos disponibles para la reconstrucción 3D son extremadamente lentos y no pueden utilizarse en tiempo real. Si bien los algoritmos presentados aún están en sus primeras etapas, tienen el potencial de realizar cálculos rápidos.

Enfoques existentes:

Delaunay y formas alfa

• El método de Delaunay implica la extracción de superficies tetraédricas a partir de una nube de puntos inicial. La idea de "forma" para un conjunto de puntos en el espacio viene dada por el concepto de alfa-formas. Dado un conjunto finito de puntos S y el parámetro real alfa, la alfa-forma de S es un politopo (la generalización a cualquier dimensión de un polígono bidimensional y un poliedro tridimensional) que no es ni convexo ni necesariamente conexo. ^{[ 33 ]} Para un valor grande, la alfa-forma es idéntica a la envoltura convexa de S. El algoritmo propuesto por Edelsbrunner y Mucke ^{[ 34 ]} elimina todos los tetraedros que están delimitados por una esfera circundante menor que α. La superficie se obtiene entonces con los triángulos externos del tetraedro resultante. ^{[ 34 ]}
• Otro algoritmo llamado Tight Cocone ^{[ 35 ]} etiqueta los tetraedros iniciales como interiores y exteriores. Los triángulos encontrados dentro y fuera generan la superficie resultante.

Ambos métodos se han extendido recientemente para la reconstrucción de nubes de puntos con ruido. ^{[ 35 ]} En este método, la calidad de los puntos determina su viabilidad. Para una triangulación precisa, dado que utilizamos el conjunto completo de nubes de puntos, los puntos de la superficie con un error superior al umbral se representarán explícitamente en la geometría reconstruida. ^{[ 33 ]}

Métodos de conjunto cero

La reconstrucción de la superficie se realiza utilizando una función de distancia que asigna a cada punto en el espacio una distancia con signo a la superficie S. Se utiliza un algoritmo de contorno para extraer un conjunto cero que se utiliza para obtener la representación poligonal del objeto. Por lo tanto, el problema de reconstruir una superficie a partir de una nube de puntos desorganizada se reduce a la definición de la función apropiada f con un valor cero para los puntos muestreados y un valor distinto de cero para el resto. Un algoritmo llamado marching cubes estableció el uso de tales métodos. ^{[ 36 ]} Hay diferentes variantes para el algoritmo dado, algunas usan una función discreta f , mientras que otras usan una función de base radial poliharmónica que se usa para ajustar el conjunto de puntos inicial. ^{[ 37 ] [ 38 ]} También se han utilizado funciones como Moving Least Squares, funciones básicas con soporte local, ^{[ 39 ]} basadas en la ecuación de Poisson. La pérdida de precisión geométrica en áreas con curvatura extrema, es decir, esquinas, bordes, es uno de los principales problemas encontrados. Además, el pretratamiento de la información, mediante la aplicación de algún tipo de técnica de filtrado, también afecta la definición de las esquinas al suavizarlas. Existen varios estudios relacionados con técnicas de postprocesamiento utilizadas en la reconstrucción para la detección y el refinamiento de esquinas, pero estos métodos aumentan la complejidad de la solución. ^{[ 40 ]}

Técnica de realidad virtual

La transparencia volumétrica total del objeto se visualiza mediante la técnica de realidad virtual. Las imágenes se generan proyectando rayos a través de los datos volumétricos. A lo largo de cada rayo, se calcula la opacidad y el color en cada vóxel. Posteriormente, la información calculada a lo largo de cada rayo se agrega a un píxel en el plano de la imagen. Esta técnica permite visualizar de forma integral la estructura compacta completa del objeto. Dado que requiere una gran cantidad de cálculos, lo que exige ordenadores con una configuración potente, es apropiada para datos de bajo contraste. A continuación, se pueden considerar dos métodos principales para la proyección de rayos:

• Método de orden de objetos: Los rayos proyectados atraviesan el volumen de atrás hacia adelante (del volumen al plano de la imagen).
• Método de orden de imagen o de trazado de rayos: Los rayos proyectados atraviesan el volumen de adelante hacia atrás (desde el plano de la imagen hasta el volumen). Existen otros métodos para componer imágenes, y los más adecuados dependen de los objetivos del usuario. Algunos métodos habituales en imágenes médicas son MIP (proyección de máxima intensidad), MinIP (proyección de mínima intensidad), AC ( composición alfa ) y NPVR ( renderizado de volumen no fotorrealista ).

cuadrícula de vóxeles

En esta técnica de filtrado, el espacio de entrada se muestrea utilizando una cuadrícula de vóxeles 3D para reducir el número de puntos. ^{[ 41 ]} Para cada vóxel , se elige un centroide como representante de todos los puntos. Hay dos enfoques: la selección del centroide del vóxel o la selección del centroide de los puntos que se encuentran dentro del vóxel. Para obtener puntos internos, el promedio tiene un mayor costo computacional, pero ofrece mejores resultados. Así, se obtiene un subconjunto del espacio de entrada que representa aproximadamente la superficie subyacente. El método de cuadrícula de vóxeles presenta los mismos problemas que otras técnicas de filtrado: imposibilidad de definir el número final de puntos que representan la superficie, pérdida de información geométrica debido a la reducción de los puntos dentro de un vóxel y sensibilidad a espacios de entrada ruidosos.