Amanda Duarte, estudiant de doctorat i investigadora al grup de Tecnologies Emergents per a la Intel·ligència Artificial del Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC), ha elaborat una extensa base de dades per a la traducció automàtica del llenguatge de signes amb Intel·ligència Artificial (IA). Amb el nom de How2Sign, aquest recurs es presentarà en la conferència CVPR 2021, que actualment és la que té més impacte científic, segons Google Scholars Metric 2020.

La base de dades conté més de 80 hores de vídeos, on intèrprets de la llengua de signes americà (ASL) tradueixen videotutorials (receptes de cuina, trucs de bricolatge, etc.). Amanda Duarte ha trigat uns dos anys a gravar i preparar les dades per al seu llençament. A més, la investigadora del BSC va gravar tres hores de vídeo al Panoptic Studio de la Carnegie Mellon University, que compta amb un estudi multivista en forma de cúpula i que està equipat amb 510 càmeres, que permeten reconstruir la postura 3D dels intèrprets.

How2Sign és un recurs públic que permetrà que investigadors tant del camp del processament del llenguatge natural com els de visió per computador puguin seguir avançant en l'àrea de la traducció automàtica i producció del llenguatge de signes. En aquest sentit, facilitarà l'accessibilitat als més de 466 milions de persones sordes o amb dificultats auditives que hi ha al món. Una de les primeres aplicacions de How2Sign ha estat el desenvolupament d'una tecnologia que permet transferir els gestos de llenguatge de signes d'una persona a una altra.

"Els principals avenços en intel·ligència artificial necessiten tres ingredients: els algoritmes, la computació i les dades. How2Sign són les dades que, analitzades per xarxes neuronals profundes en centres de supercomputació, permetran millorar significativament l'accessibilitat a tecnologies com els assistents virtuals o robòtics", comenta Amanda Duarte.

Per construir aquest recurs, Duarte, doctoranda INPhiNIT de la Fundació “la Caixa”, ha tingut el finançament de Facebook AI, la Fundació “la Caixa” i la col·laboració del Grup de Processament de la Imatge de la Universitat Politècnica de Catalunya (UPC), la Carnegie Mellon University i la Gallaudet University. Jordi Torres, responsable del grup de Tecnologies Emergents per a la IA al BSC i catedràtic de la UPC, i Xavier Giró, investigador del BSC i professor de la UPC, han dirigit el treball d'Amanda Duarte.