“San Jorge en moto”, del Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC), ha sido seleccionado como uno de los siete proyectos de la categoría Telecom que recibirán fondos CEF (Connecting Europe Facility), un instrumento europeo para facilitar la interacción internacional entre las administraciones, las empresas y los ciudadanos mediante el desarrollo de infraestructuras de servicios digitales. El objetivo de “San Jorge en moto” es dotar a la inteligencia artificial de conocimiento sobre el patrimonio cultural europeo.
Imaginemos que queremos que una máquina describa una pintura de San Jorge a punto de matar el dragón. La respuesta obtenida puede ser muy curiosa: se trataría de un hombre montando en moto (el caballo) y que tiene a su lado un perro (el dragón). La razón es que los motores de inteligencia artificial suelen estar entrenados para describir sólo fotografías actuales, con lo que es bastante complicado que asocien correctamente los elementos de otros contextos histórico-culturales. El nombre “San Jorge en moto” procede precisamente de testear en aplicaciones de inteligencia artificial un cuadro con San Jorge acabando con el dragón.
Coordinado por el BSC, este proyecto tiene como objetivo generar descripciones de obras del patrimonio cultural de Europa. Para llevarlo a cabo, el centro trabajará conjuntamente con Europeana, la organización sin ánimo de lucro que centraliza el acceso digital al fondo cultural de Europa y que facilitará al BSC la exploración de su colección de recursos artísticos para el análisis.
Para que la descripción de cada imagen sea coherente con todos los elementos contenidos y con el contexto temporal al que pertenece, el BSC aplicará métodos de deep learning y otras técnicas semánticas y estadísticas para generar explicaciones textuales automáticas de una imagen con lenguaje natural.
Como el volumen de imágenes que se utilizan para el entrenamiento correcto de los descriptores automáticos es enorme y el análisis de los datos es muy complejo, se requiere el uso de grandes recursos de supercomputación. Las descripciones resultantes se archivarán siguiendo estándares internacionales y contribuirán a enriquecer los metadatos de los repositorios culturales europeos recogidos en Europeana. Por otro lado, serán accesibles para todos los ciudadanos.
- Caption: St George Fighting the Dragon by Rafael Sanzio