Un equip del BSC entrena models d'intel·ligència artificial per reconèixer la simbologia i el contingut dels quadres del Museo del Prado, i fins i tot detectar detalls que poden passar desapercebuts a l'ull humà.
L’objectiu d’aquest projecte és generar descripcions detallades de les obres pictòriques del Museo del Prado que ajudin a entendre millor el nostre patrimoni cultural i històric
Després d'un primer projecte pilot, el repte serà una anàlisi global de tota la col·lecció, amb més de 35.000 obres d'art, 8.000 de les quals pertanyen a un dels fons de pintures més destacats d'Europa amb quadres de Velázquez, Goya o El Greco
“Amb el projecte també busquem provocar una reflexió sobre el potencial de la IA per reconèixer el passat, la cultura o els símbols”, afirmen els investigadors del BSC, alhora que al·leguen que servirà per crear noves iniciatives culturals i de difusió que posin en valor el patrimoni cultura
El Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS) i el Museo Nacional del Prado han presentat el projecte FrAI Angelico, que mostra com la intel·ligència artificial (IA) pot ajudar a apropar el patrimoni cultural a la ciutadania gràcies a la capacitat dels sistemes d’aprenentatge automàtic per reconèixer el contingut de les pintures i el seu context històric i iconogràfic, de manera que sigui possible obtenir una descripció detallada de cada quadre sense intervenció humana.
El Museo Nacional del Prado ha desenvolupat en els darrers anys diferents projectes en el marc de la IA. El 2019 va implementar una lectura augmentada sobre els textos descriptius de les fitxes d'obres publicades a la web a través d'un motor de Comprensió del Llenguatge Natural (NLU) que permet reconèixer les entitats i els conceptes tractats per facilitar una lectura contextualitzada a l’usuari. Ara, amb el suport del Barcelona Supercomputing Center, farà un pas més en l'aplicació de la IA per a l'estudi i la difusió de les seves col·leccions i implementarà un sistema que facilitarà el reconeixement d'objectes sobre les imatges de les pròpies obres. Javier Pantoja, cap de l'Àrea de Desenvolupament Digital del Museo Nacional del Prado, explica: “Amb el NLU ajudem els nostres usuaris a una millor comprensió dels textos explicatius de les obres gràcies a la lectura augmentada dels mateixos. En aquest projecte, la nostra intenció és, entre d'altres, donar suport al treball de documentalistes i especialistes en el reconeixement i la descripció d'objectes, figures i tema de les obres”.
La IA és una eina poderosa que pot ser molt útil per als professionals del patrimoni cultural per la seva capacitat per analitzar grans quantitats de dades. Investigadors del departament d'Aplicacions Computacionals per a la Ciència i l’Enginyeria (CASE, per les sigles en anglès) del BSC han desenvolupat un model d'IA de detecció d'objectes que han entrenat amb descripcions de milers de quadres perquè sigui capaç d'analitzar de manera precisa el contingut de les pintures del Museo Nacional del Prado, fins al punt de detectar detalls o objectes que poden passar desapercebuts a l’ull humà.
FrAI Angelico és un prototip basat en la tecnologia d'un projecte similar anterior, finançat per la Unió Europea, que es va anomenar Saint George on a Bike, coordinat pel BSC en col·laboració amb Europeana Foundation. A la primera fase, s'analitzaran 25 obres, però l'objectiu és establir una col·laboració més estable que permeti fer una anàlisi global de tot el fons del Museo del Prado, considerat com la institució cultural més important del país amb més de 35.000 obres d’art, de les quals 8.000 pertanyen a la col·lecció de pintures, una de les més destacades d'Europa, amb obres d'artistes com Velázquez, Goya, El Greco, Rubens, Tiziano o Rafael, entre d'altres.
Telèfons mòbils en quadres del segle XVI
Els sistemes de reconeixement d’objectes s’entrenen amb imatges que mostren els diferents elements que ens envolten. Un cop entrenats, aquests models d'IA poden detectar noves formes i interpretar-les en el context temporal. Aquest ha estat un dels reptes principals del projecte, ja que fins ara els sistemes entrenats en un context determinat cometien errors d'interpretació en entorns diferents, cosa que els portava a identificar telèfons mòbils o bats de beisbol en pintures dels segles XVI o XVII.
De la mateixa manera, els nous models també són capaços de detectar objectes que són habituals en representacions pictòriques del passat, com ara una calavera, una corona d'espines, àngels o dimonis. El repte següent és ensenyar aquests sistemes d'IA a interpretar conceptes abstractes a la pintura clàssica europea, com que dos cossos nus més un àngel probablement representen Adam i Eva o un colom acompanyat d'un àngel i una persona a l'Esperit Sant.
“Amb el projecte FrAI Angelico busquem també provocar una reflexió sobre el potencial de la IA per reconèixer el passat, la cultura o els símbols. Comparar l'anàlisi dels nous models entrenats al BSC amb els resultats d'altres sistemes de reconeixement d'objectes actuals és un exercici que ens convida a pensar sobre com mirem el passat amb els ulls del present i aviva la fascinació que produeix la contemplació d'un quadre i el descobriment del que no és aparent”, assegura Joaquim Moré, investigador del grup de CASE del BSC.
Obres més accessibles per a persones amb discapacitat visual
La possibilitat que els sistemes d'IA siguin capaços de detectar els objectes que apareixen als quadres ajudarà el Museo del Prado i altres institucions del sector del patrimoni cultural a descriure i classificar les seves obres d'art de forma automàtica, cosa que facilitarà la interpretació del significat de les pintures.
Els resultats de FrAI Angelico es podran fer servir per estudiar les relacions temàtiques entre milers d'elements de diferents obres simultàniament, desenvolupar la documentació iconogràfica sobre les obres del museu i donar suport a la classificació de les obres per temàtiques i objectes representats. Tot això sempre amb l'objectiu final d'incrementar l'interès de la ciutadania a l'art i el patrimoni cultural. També, com a exemple, això és especialment útil per a persones amb discapacitat visual, que podran beneficiar-se d'un format més accessible de les obres pictòriques gràcies a descripcions més detallades de les imatges.
“Gràcies a aquesta iniciativa es podran analitzar les pintures, detectar objectes que el visitant possiblement no hagi percebut, inferir temes, descobrir relacions entre els seus elements o interpretar el seu simbolisme per tal de crear iniciatives culturals i de difusió com a exposicions virtuals amb pintures relacionades de qualsevol part del món. I, sobretot, aquest treball servirà de base per a una nova manera d'estudiar i comprendre el nostre patrimoni cultural”, conclou Maria Cristina Marinescu, investigadora del grup de CASE del BSC.
- Descàrrega d'informació i imatges
https://www.museodelprado.es/museo/acceso-profesionales
- Peu de foto: L'obra 'L'Anunciació' de Fra Angelico, pintor italià del segle XV, que dóna nom al projecte, analitzada pel sistema d'IA de reconeixement d'objectes en pintures.