Hispanopedia Wiki
Articulo de referencia

Traducción automática de lenguas de signos

La traducción automática de lenguas de señas ha sido posible, aunque de forma limitada, desde 1977. Un proyecto de investigación logró asociar con éxito letras inglesas de un te...

Hispanopedia WikiContenido en espanolLectura gratuita

La traducción automática de lenguas de señas ha sido posible, aunque de forma limitada, desde 1977. Un proyecto de investigación logró asociar con éxito letras inglesas de un teclado con letras del alfabeto manual de la lengua de señas americana (ASL) simuladas en una mano robótica. Estas tecnologías traducen lenguas de señas a lenguaje escrito u oral, y viceversa, sin necesidad de un intérprete humano . Las lenguas de señas poseen características fonológicas diferentes a las de los lenguajes orales, lo que ha creado obstáculos para los desarrolladores. Estos utilizan visión artificial y aprendizaje automático para reconocer parámetros fonológicos específicos y epéntesis [ 1 ] propios de las lenguas de señas, y el reconocimiento de voz y el procesamiento del lenguaje natural permiten la comunicación interactiva entre personas oyentes y sordas.

Limitaciones

Las tecnologías de traducción de lenguas de señas presentan las mismas limitaciones que las de la traducción de lenguas habladas. Ninguna puede traducir con una precisión del 100%. De hecho, las tecnologías de traducción de lenguas de señas están muy por detrás de sus homólogas de lenguas habladas. Esto se debe, en gran medida, a que las lenguas de señas poseen múltiples órganos articulatorios. Mientras que las lenguas habladas se articulan a través del tracto vocal , las lenguas de señas se articulan a través de las manos, los brazos, la cabeza, los hombros, el torso y partes del rostro. Esta articulación multicanal dificulta enormemente la traducción de lenguas de señas. Un desafío adicional para la traducción automática de lenguas de señas es la ausencia de un formato escrito formal. Existen sistemas de notación, pero ningún sistema de escritura ha sido adoptado lo suficientemente ampliamente por la comunidad sorda internacional como para considerarse la «forma escrita» de una lengua de señas determinada. Por lo tanto, las lenguas de señas se graban en diversos formatos de vídeo. No existe un corpus paralelo de referencia lo suficientemente grande para la traducción automática de lenguas de señas, por ejemplo.

Historia

La historia de la traducción automática del lenguaje de señas comenzó con el desarrollo de hardware como las manos robóticas deletreadas con los dedos. En 1977, un proyecto de mano deletreada con los dedos llamado RALPH (abreviatura de "Robotic Alphabet") creó una mano robótica que puede traducir alfabetos a deletreo con los dedos. [ 2 ] Posteriormente, el uso de guantes con sensores de movimiento se generalizó, y nacieron algunos proyectos como CyberGlove y VPL Data Glove. [ 3 ] El hardware portátil permitió capturar las formas y movimientos de las manos de los signantes con la ayuda de software informático. Sin embargo, con el desarrollo de la visión artificial, los dispositivos portátiles fueron reemplazados por cámaras debido a su eficiencia y a las menores restricciones físicas para los signantes. [ 3 ] Para procesar los datos recopilados a través de los dispositivos, los investigadores implementaron redes neuronales como el Simulador de Redes Neuronales de Stuttgart [ 4 ] para el reconocimiento de patrones en proyectos como CyberGlove. Los investigadores también utilizan muchos otros enfoques para el reconocimiento de signos. Por ejemplo, los modelos ocultos de Markov se utilizan para analizar datos estadísticamente, [ 3 ] y GRASP y otros programas de aprendizaje automático utilizan conjuntos de entrenamiento para mejorar la precisión del reconocimiento de signos. [ 5 ] La fusión de tecnologías no portátiles, como cámaras y controladores Leap Motion , ha demostrado aumentar la capacidad del software de reconocimiento y traducción automática del lenguaje de signos. [ 6 ]

Tecnologías

VISICAST

http://www.visicast.cmp.uea.ac.uk/Visicast_index.html

Proyecto eSIGN

http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html

El proyecto de avatares en lengua de señas americana en la Universidad DePaul.

http://asl.cs.depaul.edu/

Español a LSE

  • López-Ludeña, Verónica; San Segundo, Rubén; González, Carlos; López, Juan Carlos; Pardo, José M. (2012), Metodología para desarrollar un sistema de traducción del habla a lengua de signos en un nuevo dominio semántico (PDF) , CiteSeerX 10.1.1.1065.5265 , S2CID 2724186  

SignAloud

SignAloud es una tecnología que incorpora un par de guantes fabricados por un grupo de estudiantes de la Universidad de Washington que transliteran [ 7 ] el lenguaje de señas americano (ASL) al inglés. [ 8 ] En febrero de 2015, Thomas Pryor, un estudiante oyente de la Universidad de Washington, creó el primer prototipo de este dispositivo en Hack Arizona, un hackathon en la Universidad de Arizona. Pryor continuó desarrollando la invención y, en octubre de 2015, incorporó a Navid Azodi al proyecto SignAloud para que se encargara del marketing y las relaciones públicas. Azodi tiene una amplia experiencia en administración de empresas, mientras que Pryor cuenta con una vasta experiencia en ingeniería. [ 9 ] En mayo de 2016, ambos declararon a NPR que estaban colaborando más estrechamente con personas que utilizan ASL para comprender mejor a su público y adaptar su producto a las necesidades de estas personas, en lugar de a las necesidades supuestas. [ 10 ] Sin embargo, desde entonces no se han publicado nuevas versiones. El invento fue uno de los siete ganadores del Premio Estudiantil Lemelson-MIT, que busca premiar y reconocer a jóvenes inventores. Su invento se incluyó en la categoría "¡Úsalo!" del premio, que abarca avances tecnológicos en productos existentes. Recibieron un premio de 10 000 dólares. [ 11 ] [ 12 ]

Los guantes tienen sensores que registran los movimientos de la mano del usuario y envían los datos a un sistema informático mediante Bluetooth . El sistema informático analiza los datos y los asocia con palabras en inglés, que luego son pronunciadas en voz alta por una voz digital. [ 10 ] Los guantes no permiten la entrada de texto en inglés para su posterior registro de movimiento ni la capacidad de escuchar el lenguaje y luego interpretarlo en lengua de signos para una persona sorda, lo que significa que no proporcionan comunicación recíproca. El dispositivo tampoco incorpora expresiones faciales ni otros marcadores no manuales de la lengua de signos, lo que podría alterar la interpretación real de la ASL. [ 13 ]

ProSordos

ProDeaf (WebLibras) [ 14 ] es un software que traduce texto y voz al portugués Libras (lenguaje de señas portugués) "con el objetivo de mejorar la comunicación entre personas sordas y oyentes". [ 15 ] Actualmente, también se está desarrollando una versión beta para el lenguaje de señas americano . El equipo original inició el proyecto en 2010 con una combinación de expertos, incluyendo lingüistas, diseñadores, programadores y traductores, tanto oyentes como sordos. El equipo se originó en la Universidad Federal de Pernambuco (UFPE) a partir de un grupo de estudiantes involucrados en un proyecto de ciencias de la computación. El grupo tenía un miembro sordo que tenía dificultades para comunicarse con el resto del grupo. Para completar el proyecto y ayudar a su compañero a comunicarse, el grupo creó Proativa Soluções y ha seguido avanzando desde entonces. [ 16 ] La versión beta actual en lenguaje de señas americano es muy limitada. Por ejemplo, hay una sección de diccionario y la única palabra bajo la letra 'j' es 'jump'. Si el dispositivo no ha sido programado con la palabra, el avatar digital debe deletrearla con los dedos. La última actualización de la aplicación fue en junio de 2016, pero ProDeaf ha aparecido en más de 400 artículos en los medios de comunicación más populares del país. [ 17 ]

La aplicación no puede leer el lenguaje de señas ni convertirlo en palabras o texto, por lo que solo permite la comunicación unidireccional. Además, el usuario no puede comunicarse mediante señas con la aplicación y recibir una traducción al inglés, ya que este idioma aún está en fase beta.

Traductor de lenguaje de señas Kinect

Desde 2012, investigadores de la Academia China de Ciencias y especialistas en educación para sordos de la Universidad de la Unión de Pekín, en China, han colaborado con el equipo asiático de Microsoft Research para crear el traductor de lengua de signos Kinect. [ 18 ] El traductor consta de dos modos: modo traductor y modo comunicación. El modo traductor permite traducir palabras individuales de la lengua de signos a la lengua escrita y viceversa. El modo comunicación puede traducir oraciones completas y la conversación se puede traducir automáticamente mediante el uso del avatar 3D . El modo traductor también puede detectar las posturas y formas de las manos de un usuario de lengua de signos, así como la trayectoria del movimiento, utilizando tecnologías de aprendizaje automático , reconocimiento de patrones y visión artificial . El dispositivo también permite la comunicación recíproca, ya que la tecnología de reconocimiento de voz permite traducir el lenguaje hablado a la lengua de signos y el avatar modelado en 3D puede comunicarse con las personas sordas mediante la lengua de signos. [ 19 ]

El proyecto original se inició en China con el objetivo de traducir el lenguaje de señas chino . En 2013, el proyecto se presentó en la Cumbre de Profesores de Microsoft Research y en una reunión de la compañía Microsoft. [ 20 ] Actualmente, investigadores en Estados Unidos también trabajan en este proyecto para implementar la traducción al lenguaje de señas americano . [ 21 ] Por el momento, el dispositivo aún es un prototipo y la precisión de la traducción en el modo de comunicación todavía no es perfecta.

Firmar todo

SignAll [ 22 ] es un sistema de traducción automática de lengua de signos proporcionado por Dolphio Technologies [ 23 ] en Hungría. El equipo es pionero en la primera solución de traducción automática de lengua de signos, basada en visión artificial y procesamiento del lenguaje natural (PLN), para facilitar la comunicación diaria entre personas oyentes que utilizan el inglés hablado y personas sordas o con discapacidad auditiva que utilizan la lengua de signos americana (ASL). El sistema SignAll utiliza Kinect de Microsoft y otras cámaras web con sensores de profundidad conectadas a un ordenador. La tecnología de visión artificial reconoce la forma de la mano y el movimiento del usuario, y el sistema de procesamiento del lenguaje natural convierte los datos recopilados en una frase sencilla en inglés. El desarrollador del dispositivo es sordo y el resto del equipo del proyecto está formado por ingenieros y lingüistas de las comunidades de personas sordas y oyentes. La tecnología es capaz de incorporar los cinco parámetros de la ASL, lo que permite al dispositivo interpretar con precisión al usuario. SignAll ha recibido el respaldo de numerosas empresas, como Deloitte y LT-innovate, y ha establecido alianzas con Microsoft Bizspark y Renewal de Hungría. [ 24 ] Esta tecnología se está utilizando actualmente en la Academia Cristiana Fort Bend en Sugar Land, Texas y en la Universidad Estatal Sam Houston . [ 25 ]

MotionSavvy

MotionSavvy [ 26 ] fue el primer sistema de conversión de lenguaje de señas a voz. El dispositivo fue creado en 2012 por un grupo del Instituto Tecnológico de Rochester / Instituto Nacional Técnico para Sordos y "surgió del acelerador Leap Motion AXLR8R". [ 27 ] El equipo utilizó una funda para tableta que aprovecha la potencia del controlador Leap Motion. Todo el equipo de seis personas fue creado por estudiantes sordos de la rama de educación para sordos de la escuela. [ 28 ] El dispositivo es actualmente uno de los dos únicos dispositivos de comunicación recíproca exclusivamente para el lenguaje de señas americano. Permite a las personas sordas comunicarse mediante señas con el dispositivo, que luego es interpretado, o viceversa, tomando el inglés hablado e interpretándolo al lenguaje de señas americano. El dispositivo se envía por $198. Algunas otras características incluyen la capacidad de interactuar, retroalimentación en tiempo real, creador de señas y crowdsign.

El dispositivo ha sido reseñado por todo tipo de medios, desde revistas de tecnología hasta Time . Wired afirmó: "No fue difícil ver lo transformadora que podría ser una tecnología como [UNI]" y que "[UNI] me pareció algo mágico". Katy Steinmetz, de TIME, comentó: "Esta tecnología podría cambiar la forma en que viven las personas sordas". Sean Buckley, de Engadget, mencionó: "UNI podría convertirse en una herramienta de comunicación increíble ".

Referencias

  1. ↑ Mocialov, Boris; Turner, Graham; Lohan, Katrin; Hastie, Helen (2017). "Hacia el reconocimiento continuo del lenguaje de signos con aprendizaje profundo" (PDF) . Creando significado con asistentes robóticos: la brecha que dejaron los dispositivos inteligentes (Conferencia internacional IEEE-RAS sobre robots humanoides) . S2CID 5525834. Archivado del original (PDF) el 10 de enero de 2021. Recuperado el 4 de mayo de 2020 . 
  2. ↑ Jaffe, DL (agosto de 1994). "Evolución de las manos mecánicas de deletreo manual para personas sordociegas". Journal of Rehabilitation Research and Development . 31 (3): 236– 244. PMID 7965881 . 
  3. 1 2 3 Parton, BS (12 de octubre de 2005). "Reconocimiento y traducción del lenguaje de señas: un enfoque multidisciplinario desde el campo de la inteligencia artificial" . Journal of Deaf Studies and Deaf Education . 11 (1): 94– 101. doi : 10.1093/deafed/enj003 . PMID 16192405 . 
  4. ↑ Weissmann, J.; Salomon, R. (1999). "Reconocimiento de gestos para aplicaciones de realidad virtual mediante guantes de datos y redes neuronales". IJCNN'99. Conferencia Internacional Conjunta sobre Redes Neuronales. Actas (Cat. No. 99CH36339) . Vol. 3. pp. 2043–2046 . doi : 10.1109/IJCNN.1999.832699 . ISBN   978-0-7803-5529-3. S2CID 18434944 . 
  5. ↑ Bowden, Richard; Zisserman, Andrew; Windridge, Dave; Kadir, Timor; Brady, Mike (junio de 2003), Interpretación de lenguas de signos naturales basada en la visión (PDF) , S2CID 67094263 
  6. ↑ Bird, Jordan J.; Ekárt, Anikó; Faria, Diego R. (9 de septiembre de 2020). "Reconocimiento del lenguaje de señas británico mediante fusión tardía de visión artificial y Leap Motion con aprendizaje por transferencia al lenguaje de señas americano" . Sensors . 20 ( 18): 5151. Bibcode : 2020Senso..20.5151B . doi : 10.3390/s20185151 . PMC 7571093. PMID 32917024 .  
  7. ↑ "¿Cuál es la diferencia entre traducción y transliteración?" . english.stackexchange.com . Consultado el 6 de abril de 2017 .
  8. ↑ "SignAloud" . Archivado del original el 21/09/2020 . Consultado el 28/02/2017 .
  9. ↑ "Thomas Pryor y Navid Azodi | Programa Lemelson-MIT" . lemelson.mit.edu . Archivado del original el 21 de septiembre de 2020. Consultado el 4 de julio de 2019 .
  10. 1 2 "Estos guantes ofrecen un toque moderno al lenguaje de señas" . All Tech Considered . NPR. 17 de mayo de 2016.
  11. ↑ "Inventores universitarios galardonados con el premio Lemelson-MIT para estudiantes" . Programa Lemelson-MIT. Archivado del original el 13 de enero de 2021. Consultado el 9 de marzo de 2017 .
  12. ↑ "Equipo de estudiantes de pregrado de la UW gana el premio Lemelson-MIT Student Prize de $10,000 por guantes que traducen el lenguaje de señas" . Universidad de Washington. 12 de abril de 2016. Consultado el 9 de abril de 2017 .
  13. ↑ "Marcadores no manuales en el lenguaje de señas americano (ASL)" . www.lifeprint.com . Consultado el 6 de abril de 2017 .
  14. ↑ "ProDeaf" . prodeaf.net . Archivado del original el 12 de marzo de 2021. Consultado el 9 de abril de 2017 .
  15. ↑ "ProDeaf" . www.prodeaf.net . Consultado el 9 de marzo de 2017 .
  16. ↑ "ProDeaf" . www.prodeaf.net . Consultado el 16 de marzo de 2017 .
  17. ↑ "ProDeaf Tradutor para Libras en la App Store" . App Store . Archivado del original el 20 de noviembre de 2015. Consultado el 9 de marzo de 2017 .
  18. ↑ Chen, Xilin; Li, Hanjing; Pan, Tim; Tansley, Stewart; Zhou, Ming. «El traductor de lengua de signos de Kinect amplía las posibilidades de comunicación» (PDF) . Microsoft Research Connections. Archivado del original (PDF) el 29 de marzo de 2014.
  19. ↑ Chai, Xiujuan; Li, Guang; Lin, Yushun; Xu, Zhihao; Tang, YB; Chen, Xilin (2013), Reconocimiento y traducción del lenguaje de signos con Kinect (PDF) , CiteSeerX 10.1.1.711.4714 , S2CID 17957882 , archivado del original (PDF) el 18 de septiembre de 2020 , consultado el 24 de octubre de 2021.  
  20. ↑ "Traductor de lenguaje de señas para Kinect" . Microsoft . 29 de octubre de 2013.
  21. ↑ Zafrulla, Zahoor; Brashear, Helene; Starner, Thad; Hamilton, Harley; Presti, Peter (2011). "Reconocimiento del lenguaje de señas americano con Kinect". Actas de la 13.ª conferencia internacional sobre interfaces multimodales - ICMI '11 . p. 279. doi : 10.1145/2070481.2070532 . ISBN  978-1-4503-0641-6. S2CID 5488882 . 
  22. ↑ "SignAll. Traducimos el lenguaje de señas. Automáticamente" . www.signall.us . Archivado del original el 2 de febrero de 2021. Consultado el 9 de abril de 2017 .
  23. ↑ "Dolphio | Tecnologías de TI únicas" . www.dolphio.hu . Consultado el 6 de abril de 2017 .
  24. ↑ "SignAll. Traducimos el lenguaje de señas. Automáticamente" . www.signall.us . Archivado del original el 2 de febrero de 2021. Consultado el 9 de marzo de 2017 .
  25. ↑ "El programa de lengua de señas americana de la Academia Cristiana de Fort Bend pone a prueba una nueva tecnología | Revista Fort Bend Focus" . Consultado el 8 de agosto de 2023 .
  26. ↑ "MotionSavvy UNI: 1er sistema de conversión de lenguaje de señas a voz" . Indiegogo . Consultado el 9 de marzo de 2017 .
  27. ↑ "Instituto Tecnológico de Rochester (RIT)" . Instituto Tecnológico de Rochester (RIT) . Consultado el 6 de abril de 2017 .
  28. ↑ Tsotsis, Alexia (6 de junio de 2014). "MotionSavvy es una aplicación para tabletas que entiende el lenguaje de señas" . TechCrunch . Recuperado el 9 de abril de 2017 .