La tecnología desarrollada conjuntamente por el BSC y la UPC utiliza inteligencia artificial para convertir frases en lengua de signos grabadas en vídeo a lengua hablada en formato texto.
El sistema utiliza un modelo de aprendizaje automático que es la base de otras herramientas de inteligencia artificial como el ChatGPT
“La publicación de esta herramienta representa un paso significativo hacia la creación de tecnología más inclusiva y accesible”, afirma la investigadora Laia Tarrés
Con la presentación de este trabajo, el BSC se suma a la celebración este 18 de mayo del Global Accessibility Awareness Day
Investigadores del Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC-CNS) y la Universitat Politècnica de Catalunya (UPC) han desarrollado una herramienta para la investigación en la traducción automática de lengua de signos que utiliza la inteligencia artificial para romper algunas de las barreras de comunicación a las que habitualmente se enfrentan las personas sordas.
A pesar de los avances en tecnologías de reconocimiento de voz como Alexa y Siri, las lenguas de signos todavía no están incluidas en estas aplicaciones cada vez más presentes en la vida cotidiana de muchos hogares. Este agravio impone una barrera a las personas que dependen de la lengua de signos como modo de comunicación favorito para interactuar con la tecnología y acceder a los servicios digitales diseñados solo para lenguas habladas.
El desarrollo de este nuevo software de código abierto es un paso importante para que la comunicación sea accesible y libre de barreras para todas las personas. Para ello, los investigadores del BSC y la UPC han combinado técnicas de visión por computador, procesamiento de lenguaje natural y aprendizaje automático para avanzar en la investigación en la traducción automática de lengua de signos, un problema complejo debido en parte a la variabilidad y gran cantidad de lenguas de signos que existen en el mundo.
El sistema, todavía en fase experimental, utiliza un modelo de aprendizaje automático denominado Transformers, que es la base de otras herramientas de inteligencia artificial como el ChatGPT, para convertir frases enteras en lengua de signos en formato vídeo a lengua hablada en formato texto. Actualmente está centrado en la lengua de signos americana (American Sign Language, ASL) pero podría adaptarse a cualquier otra lengua siempre que estén disponibles todos los datos necesarios, es decir que exista un corpus con datos paralelos donde cada frase de lengua de signos (en formato vídeo) tenga la correspondiente traducción en lengua hablada (en formato texto).
“La nueva herramienta desarrollada es una extensión de una publicación anterior también del BSC y la UPC denominada How2Sign, donde se publicaron los datos necesarios para entrenar a los modelos (más de 80 horas de vídeos donde intérpretes de la lengua de signos americano traducen videotutoriales como recetas de cocina o trucos de bricolaje). Con estos datos ya disponibles, el equipo ha desarrollado un nuevo software de código abierto capaz de aprender el mapeado entre vídeo y texto”, afirma Laia Tarrés, investigadora del BSC y la UPC, que ha presentado la publicación del nuevo modelo coincidiendo con la celebración del Global Accessibility Awareness Day.
Paso adelante para obtener una aplicación real
Los investigadores aseguran que este nuevo trabajo es un paso en la dirección correcta pero igualmente destacan que todavía hay mucho margen de mejora. Estamos ante los primeros resultados que, por el momento, no permiten crear una aplicación concreta que dé servicio a los usuarios. El objetivo es seguir trabajando para mejorar la herramienta y obtener una aplicación real que impulse la creación de tecnologías accesibles para personas sordas.
El proyecto ya se ha presentado en el espacio Fundación Telefónica de Madrid en el marco de la exposición ‘Código y algoritmos. Sentido en un mundo calculado’ que, con una presencia destacada del BSC, reúne diferentes proyectos relacionados con la inteligencia artificial. También se expondrá próximamente en el Centro de Cultura Contemporánea de Barcelona (CCCB) dentro de una gran exposición también sobre inteligencia artificial que se inaugurará en octubre próximo.
"Esta herramienta abierta de traducción automática de lengua de signos es una contribución valiosa para la comunidad científica centrada en accesibilidad, y su publicación representa un paso significativo hacia la creación de tecnología más inclusiva y accesible para todos", concluye Tarrés.
