servocontrol visual

Los sistemas de servocontrol visual, también llamados servocontrol, existen desde principios de la década de 1980, ^{[ 11 ]} aunque el término servocontrol visual en sí mismo fue acuñado recién en 1987. ^{[ 4 ] [ 5 ] [ 6 ]} El servocontrol visual es, en esencia, un método para el control de robots donde el sensor utilizado es una cámara (sensor visual). El servocontrol consta principalmente de dos técnicas, ^{[ 6 ]} una implica el uso de información de la imagen para controlar directamente los grados de libertad (DOF) del robot, por lo que se denomina servocontrol visual basado en imágenes (IBVS). Mientras que la otra implica la interpretación geométrica de la información extraída de la cámara, como estimar la pose del objetivo y los parámetros de la cámara (suponiendo que se conoce algún modelo básico del objetivo). Existen otras clasificaciones de servocontrol basadas en las variaciones en cada componente de un sistema de servocontrol, ^{[ 5 ]} por ejemplo, la ubicación de la cámara, los dos tipos son configuraciones ojo-mano y mano-ojo. Según el bucle de control, existen dos tipos: bucle abierto en el extremo y bucle cerrado en el extremo. Según si el control se aplica a las articulaciones (o grados de libertad) directamente o como un comando de posición a un controlador de robot, existen dos tipos: servocontrol directo y control dinámico de búsqueda y movimiento. En uno de los primeros trabajos ^{[ 12 ],} los autores propusieron un esquema de servocontrol visual jerárquico aplicado al servocontrol basado en imágenes. La técnica se basa en la suposición de que se puede extraer un buen conjunto de características del objeto de interés (por ejemplo, bordes, esquinas y centroides) y utilizarlas como un modelo parcial junto con modelos globales de la escena y el robot. La estrategia de control se aplica a una simulación de un brazo robótico de dos y tres grados de libertad.

Feddema et al. ^{[ 13 ]} introdujeron la idea de generar la trayectoria de la tarea con respecto a la velocidad de la característica. Esto es para asegurar que los sensores no se vuelvan ineficaces (deteniendo la retroalimentación) para ningún movimiento del robot. Los autores asumen que los objetos son conocidos a priori (por ejemplo, modelo CAD) y que todas las características pueden extraerse del objeto. El trabajo de Espiau et al. ^{[ 14 ]} discute algunas de las cuestiones básicas en servocontrol visual. Las discusiones se centran en el modelado de la matriz de interacción, la cámara, las características visuales (puntos, líneas, etc.). En ^{[ 15 ]} se propuso un sistema de servocontrol adaptativo con una arquitectura de servocontrol de mirar y moverse. El método utilizó flujo óptico junto con SSD para proporcionar una métrica de confianza y un controlador estocástico con filtrado de Kalman para el esquema de control. El sistema asume (en los ejemplos) que el plano de la cámara y el plano de las características son paralelos. ^{[ 16 ]} analiza un enfoque de control de velocidad utilizando la relación jacobiana s˙ = Jv˙ . Además, el autor utiliza el filtrado de Kalman, asumiendo que la posición extraída del objetivo tiene errores inherentes (errores del sensor). Se desarrolla un modelo de la velocidad del objetivo y se utiliza como entrada de prealimentación en el bucle de control. También menciona la importancia de considerar la discrepancia cinemática, los efectos dinámicos, la repetibilidad, las oscilaciones del tiempo de establecimiento y el retardo en la respuesta.

Corke ^{[ 17 ]} plantea una serie de preguntas cruciales sobre el servocontrol visual e intenta profundizar en sus implicaciones. El artículo se centra principalmente en la dinámica del servocontrol visual. El autor aborda problemas como el retardo y la estabilidad, y también analiza las trayectorias de prealimentación en el bucle de control. Asimismo, busca justificar la generación de trayectorias, la metodología de control de ejes y el desarrollo de métricas de rendimiento.

Chaumette en ^{[ 18 ]} ofrece una buena perspectiva sobre los dos problemas principales de IBVS. Uno, el servo-a-mínimo local y el segundo, el alcance de una singularidad jacobiana. El autor muestra que los puntos de la imagen por sí solos no constituyen buenas características debido a la aparición de singularidades. El artículo continúa, discutiendo posibles verificaciones adicionales para prevenir singularidades, a saber, los números de condición de J_s y Jˆ+_s, para verificar el espacio nulo de ˆ J_s y J^T_s. Un punto principal que el autor destaca es la relación entre los mínimos locales y los movimientos de características de imagen irrealizables.

A lo largo de los años se han desarrollado muchas técnicas híbridas. ^{[ 4 ]} Estas implican el cálculo de la pose parcial/completa a partir de la geometría epipolar utilizando múltiples vistas o múltiples cámaras. Los valores se obtienen mediante estimación directa o a través de un esquema de aprendizaje o estadístico. Mientras que otros han utilizado un enfoque de conmutación que cambia entre basado en imágenes y basado en la posición en una función de Lyapnov. ^{[ 4 ]} Las primeras técnicas híbridas que utilizaban una combinación de enfoques basados ​​en imágenes y basados ​​en pose (información 2D y 3D) para el servocontrol requerían un modelo completo o parcial del objeto para extraer la información de pose y utilizaban una variedad de técnicas para extraer la información de movimiento de la imagen. ^{[ 19 ]} utilizaron un modelo de movimiento afín del movimiento de la imagen además de un modelo CAD poliédrico aproximado para extraer la pose del objeto con respecto a la cámara para poder servo en el objeto (en las líneas de PBVS).

El servocontrol visual 2-1/2-D desarrollado por Malis et al. ^{[ 20 ]} es una técnica bien conocida que descompone la información necesaria para el servocontrol de forma organizada, desacoplando rotaciones y traslaciones. Los artículos asumen que la pose deseada se conoce a priori. La información rotacional se obtiene a partir de una estimación parcial de la pose, una homografía (esencialmente información 3D) que proporciona un eje de rotación y el ángulo (calculando los valores y vectores propios de la homografía). La información traslacional se obtiene directamente de la imagen mediante el seguimiento de un conjunto de puntos característicos. Las únicas condiciones son que los puntos característicos que se siguen nunca salgan del campo de visión y que se predetermine una estimación de profundidad mediante alguna técnica fuera de línea. Se ha demostrado que el servocontrol 2-1/2-D es más estable que las técnicas que lo precedieron. Otra observación interesante de esta formulación es que los autores afirman que el jacobiano visual no tendrá singularidades durante los movimientos. La técnica híbrida desarrollada por Corke y Hutchinson, ^{[ 21 ] [ 22 ]} popularmente llamada enfoque particionado divide el jacobiano visual (o de imagen) en movimientos (tanto rotaciones como traslaciones) relacionados con los ejes X e Y y movimientos relacionados con el eje Z. ^{[ 22 ]} describe la técnica para separar las columnas del jacobiano visual que corresponden a la traslación y rotación del eje Z (es decir, la tercera y sexta columna). Se muestra que el enfoque particionado maneja el dilema de Chaumette discutido en. ^{[ 23 ]} Esta técnica requiere una buena estimación de profundidad para funcionar correctamente. ^{[ 24 ]} describe un enfoque híbrido donde la tarea de servocontrol se divide en dos, a saber, principal y secundaria. La tarea principal es mantener las características de interés dentro del campo de visión. Mientras que la tarea secundaria es marcar un punto de fijación y usarlo como referencia para llevar la cámara a la pose deseada. La técnica sí necesita una estimación de profundidad de un procedimiento fuera de línea. El artículo analiza dos ejemplos en los que las estimaciones de profundidad se obtienen a partir de la odometría del robot y asumiendo que todas las características se encuentran en un plano. La tarea secundaria se logra utilizando el concepto de paralaje. Las características que se rastrean se eligen mediante una inicialización realizada en el primer fotograma, que generalmente son puntos. ^{[ 25 ]}Se analizan dos aspectos del control visual: el modelado de características y el seguimiento basado en modelos. Se parte de la premisa de que se dispone del modelo 3D del objeto. Los autores destacan la importancia de seleccionar características ideales que permitan desacoplar los grados de libertad del movimiento mediante una relación lineal. Asimismo, introducen una estimación de la velocidad del objetivo en la matriz de interacción para mejorar el rendimiento del seguimiento. Los resultados se comparan con técnicas de control visual bien conocidas, incluso en presencia de oclusiones.

Esta sección analiza el trabajo realizado en el campo del servocontrol visual. Intentamos rastrear las diversas técnicas en el uso de características. La mayor parte del trabajo ha utilizado puntos de imagen como características visuales. La formulación de la matriz de interacción en ^{[ 5 ]} asume que los puntos en la imagen se utilizan para representar el objetivo. Existe un conjunto de trabajos que se desvían del uso de puntos y utilizan regiones de características, líneas, momentos de imagen e invariantes de momento. ^{[ 26 ]} En ^{[ 27 ],} los autores analizan un seguimiento basado en afines de características de imagen. Las características de imagen se eligen en función de una medida de discrepancia, que se basa en la deformación que experimentan las características. Las características utilizadas fueron parches de textura. Uno de los puntos clave del artículo fue que resaltaba la necesidad de considerar las características para mejorar el servocontrol visual. En ^{[ 28 ],} los autores analizan la elección de características de imagen (la misma cuestión también se discutió en ^{[ 5 ]} en el contexto del seguimiento). El efecto de la elección de características de imagen en la ley de control se discute con respecto solo al eje de profundidad. Los autores consideran la distancia entre puntos característicos y el área de un objeto como características. Estas características se utilizan en la ley de control con formas ligeramente diferentes para resaltar los efectos en el rendimiento. Se observó que se lograba un mejor rendimiento cuando el error del servo era proporcional al cambio en el eje de profundidad. ^{[ 29 ]} proporciona una de las primeras discusiones sobre el uso de momentos. Los autores proporcionan una nueva formulación de la matriz de interacción utilizando la velocidad de los momentos en la imagen, aunque complicada. Aunque se utilizan los momentos, estos son del pequeño cambio en la ubicación de los puntos de contorno con el uso del teorema de Green. El artículo también intenta determinar el conjunto de características (en un plano) para un robot de 6 DOF. En ^{[ 30 ]} se discute el uso de momentos de imagen para formular el jacobiano visual. Esta formulación permite el desacoplamiento de los DOF ​​en función del tipo de momentos elegidos. El caso simple de esta formulación es nocionalmente similar al servocontrol 2-1/2- D. ^{[ 30 ]} La variación temporal de los momentos (m˙ij) se determina utilizando el movimiento entre dos imágenes y el teorema de Green. La relación entre m˙ij y el tornillo de velocidad (v) viene dada por m˙_ij = L_m_ij v. Esta técnica evita la calibración de la cámara al suponer que los objetos son planos y utilizar una estimación de profundidad. La técnica funciona bien en el caso plano, pero tiende a ser complicada en el caso general. La idea básica se basa en el trabajo de [4] Se han utilizado invariantes de momento en. ^{[ 31 ]}La idea clave es encontrar el vector de características que desacopla todos los grados de libertad del movimiento. Algunas observaciones realizadas fueron que los momentos centralizados son invariantes para traslaciones 2D. Se desarrolla una forma polinómica compleja para rotaciones 2D. La técnica sigue la enseñanza por demostración, por lo que requiere los valores de profundidad y área deseadas del objeto (suponiendo que el plano de la cámara y el objeto son paralelos, y el objeto es plano). Otras partes del vector de características son invariantes R3, R4. Los autores afirman que se pueden manejar las oclusiones. ^{[ 32 ]} y ^{[ 33 ]} se basan en el trabajo descrito en. ^{[ 29 ] [ 31 ] [ 32 ]} La principal diferencia es que los autores utilizan una técnica similar a, ^{[ 16 ]} donde la tarea se divide en dos (en el caso en que las características no son paralelas al plano de la cámara). Se realiza una rotación virtual para llevar la característica paralela al plano de la cámara. ^{[ 34 ]} consolida el trabajo realizado por los autores sobre momentos de imagen.

Espiau ^{[ 35 ]} demostró, mediante un trabajo puramente experimental, que el servocontrol visual basado en imágenes (IBVS) es robusto ante errores de calibración. El autor utilizó una cámara sin calibración explícita, con coincidencia de puntos y sin estimación de pose. El artículo analiza el efecto de los errores y la incertidumbre en los términos de la matriz de interacción desde un enfoque experimental. Los objetivos utilizados fueron puntos, considerados planos.

Un estudio similar se realizó en ^{[ 36 ]} donde los autores llevan a cabo una evaluación experimental de algunos sistemas de servocontrol visual no calibrados que fueron populares en los 90. El resultado principal fue la evidencia experimental de la efectividad del control de servocontrol visual sobre los métodos de control convencionales. Kyrki et al. ^{[ 37 ]} analizan los errores de servocontrol para servocontrol visual basado en posición y 2-1/2-D. La técnica implica determinar el error en la extracción de la posición de la imagen y propagarlo a la estimación de pose y al control de servocontrol. Los puntos de la imagen se mapean a puntos en el mundo a priori para obtener un mapeo (que es básicamente la homografía, aunque no se indica explícitamente en el artículo). Este mapeo se descompone en rotaciones y traslaciones puras. La estimación de pose se realiza utilizando una técnica estándar de Visión por Computadora. Los errores de píxeles se transforman en la pose. Estos se propagan al controlador. Una observación del análisis muestra que los errores en el plano de la imagen son proporcionales a la profundidad y el error en el eje de profundidad es proporcional al cuadrado de la profundidad. Los errores de medición en el servocontrol visual se han investigado extensamente. La mayoría de las funciones de error se relacionan con dos aspectos del servocontrol visual. Uno es el error en estado estacionario (una vez controlado) y el otro, la estabilidad del bucle de control. Otros errores de servocontrol que han sido de interés son los que surgen de la estimación de pose y la calibración de la cámara. En ^{[ 38 ],} los autores extienden el trabajo realizado en ^{[ 39 ]} al considerar la estabilidad global en presencia de errores de calibración intrínsecos y extrínsecos. ^{[ 40 ]} proporciona un enfoque para acotar el error de seguimiento de la función de tarea. En ^{[ 41 ],} los autores utilizan la técnica de servocontrol visual de enseñanza por demostración. Donde la pose deseada se conoce a priori y el robot se mueve desde una pose dada. El objetivo principal del artículo es determinar el límite superior del error de posicionamiento debido al ruido de la imagen utilizando una técnica de optimización convexa. ^{[ 42 ]} proporciona una discusión sobre el análisis de estabilidad con respecto a la incertidumbre en las estimaciones de profundidad. Los autores concluyen el artículo con la observación de que para geometría objetivo desconocida se requiere una estimación de profundidad más precisa para limitar el error. Muchas de las técnicas de servocontrol visual ^{[ 21 ] [ 22 ] [ 43 ]} asumen implícitamente que solo hay un objeto en la imagen y que la característica relevante para el seguimiento, junto con el área del objeto, está disponible. La mayoría de las técnicas requieren una estimación parcial de la pose o una estimación precisa de la profundidad de la pose actual y deseada.