Seguimiento de dedos

Este sistema utiliza principalmente sistemas de captura de movimiento inerciales y ópticos .

En términos de percepción visual , las piernas y las manos pueden modelarse como mecanismos articulados, sistemas de cuerpos rígidos conectados entre sí mediante articulaciones con uno o más grados de libertad. Este modelo puede aplicarse a una escala reducida para describir el movimiento de la mano y a una escala amplia para describir el movimiento completo del cuerpo. Por ejemplo, un determinado movimiento de los dedos puede reconocerse a partir de sus ángulos habituales y no depende de la posición de la mano con respecto a la cámara.

Muchos sistemas de seguimiento se basan en un modelo enfocado en un problema de estimación de secuencia, donde se da una secuencia de imágenes y un modelo de cambio, estimamos la configuración 3D para cada foto. Todas las configuraciones posibles de la mano están representadas por vectores en un espacio de estados , que codifica la posición de la mano y los ángulos de la articulación del dedo. Cada configuración de la mano genera un conjunto de imágenes a través de la detección de los bordes de la oclusión de la articulación del dedo. La estimación de cada imagen se calcula encontrando el vector de estado que mejor se ajusta a las características medidas. Las articulaciones de los dedos tienen 21 estados adicionales más que el movimiento de cuerpo rígido de las palmas; esto significa que el costo computacional de la estimación aumenta. La técnica consiste en etiquetar cada enlace de la articulación del dedo se modela como un cilindro. Hacemos los ejes en cada articulación y la bisectriz de este eje es la proyección de la articulación. Por lo tanto, usamos 3 DOF, porque solo hay 3 grados de movimiento.

En este caso, es igual que en la tipología anterior , ya que existe una amplia variedad de tesis de implementación sobre este tema. Por lo tanto, los pasos y la técnica de tratamiento difieren según el propósito y las necesidades de la persona que utilizará esta técnica. De todos modos, podemos decir que, de forma muy general y en la mayoría de los sistemas, se deben seguir los siguientes pasos:

• Sustracción de fondo: la idea es convolucionar todas las imágenes capturadas con un filtro Gauss de 5x5, y luego escalarlas para reducir el ruido de los datos de píxeles.
• Segmentación: se utiliza una aplicación de máscara binaria para representar con color blanco los píxeles que pertenecen a la mano y aplicar el color negro a la imagen de la piel en primer plano.
• Extracción de regiones: detección de la mano izquierda y derecha mediante una comparación entre ellas.
• Extracción de características: ubicación de las yemas de los dedos y detección de picos o valles. Para clasificar el punto (picos o valles), se transforma en vectores 3D, generalmente denominados pseudovectores en el plano xy, y luego se calcula el producto vectorial. Si el signo de la componente z del producto vectorial es positivo, se considera que el punto es un pico; si el resultado es negativo, se trata de un valle.
• Reconocimiento de gestos de señalar y pellizcar: teniendo en cuenta los puntos de referencia visibles (las yemas de los dedos), se asocia un gesto determinado.
• Estimación de la postura : procedimiento que consiste en identificar la posición de las manos mediante el uso de algoritmos que calculan las distancias entre posiciones.

También es posible realizar un seguimiento activo de los dedos. El Smart Laser Scanner es un sistema de seguimiento de dedos sin marcadores que utiliza un escáner/proyector láser modificado, desarrollado en la Universidad de Tokio entre 2003 y 2004. Es capaz de adquirir coordenadas tridimensionales en tiempo real sin necesidad de ningún procesamiento de imagen (esencialmente, es un escáner de telémetro que, en lugar de escanear continuamente todo el campo de visión, restringe su área de escaneo a una ventana muy estrecha, del tamaño exacto del objetivo). Se ha demostrado el reconocimiento de gestos con este sistema. La frecuencia de muestreo puede ser muy alta (500  Hz), lo que permite adquirir trayectorias suaves sin necesidad de filtrado (como el de Kalman). Asimismo, se están desarrollando individualmente en todo el mundo rastreadores geométricos concisos y compatibles con HSV, basados ​​en cámaras web económicas, que son completamente deterministas, lo que evita alucinaciones y reduce los costos de computación.