Hace ahora un año que investigadores del departamento de Computer Science del BSC, liderados por el investigador Jordi Torres, pusieron en marcha el Barcelona Spark Meetup, un grupo alrededor de Apache Spark, una de las tecnologías Big Data que más ha crecido últimamente. Junto al BSC, dan apoyo a esta iniciativa la UPC, la FIB, FIB Alumni, itnig y COEINF. El grupo cuenta ya con más de 600 miembros de perfiles diversos: ingenieros de datos, profesores, estudiantes, investigadores, científicos de datos y profesionales de machine learning e inteligencia artificial. Con motivo de este primer aniversario, desde Barcelona Spark Meetup se han organizado 4 actividades alrededor de Apache Spark. Jordi Torres explica los detalles de esta iniciativa.
- ¿Cómo surgió la idea de constituir el grupo Barcelona Spark Meetup?
Se formó a raíz de dos hechos básicos: por un lado a principios del año pasado descubrí el fantástico mundo de los meetups gracias a que miembros de nuestro grupo de investigación estaban muy activos en meetups como el de Scala Developers Barcelona (Jordi Aranda) o Big Data Operations On Performance (Nico Poggi). Por otro lado, como grupo de investigación que debe estar atento a lo que se “cuece” en la investigación a nivel mundial, hacía tiempo que estábamos estudiando artículos de investigación que derivaban de los trabajos de investigación del estudiante de Berkeley (Universidad de California) Matei Zaharia, el padre de Spark.
- ¿Cuál es vuestro objetivo?
Junto a, los entonces investigadores del BSC, Jordi Nin y Jordi Aranda nos pareció que con poco esfuerzo podríamos contribuir a aproximar este conocimiento a nuestro entorno. Estábamos convencidos de que podría ser de valor para muchas empresas que en aquel momento empezaban a pelearse con Hadoop para paralelizar sus tareas, que conocieran cuanto antes Spark. Ya por aquel entonces Apache Spark era uno de los proyectos más activos del mundo Big Data, con más contribuyentes que el mismo Apache Hadoop, que hasta aquel momento había sido la gran estrella.
- Después de un año, ¿qué valoración hacéis?
Que fue un acierto sin ninguna duda, como lo demuestra que en estos momentos seamos más de 600 miembros, uno de los meetups de Spark más numerosos de los que existen en el mundo. Además, personalmente creo que es fantástico este punto de encuentro que se ha formado con antiguos alumnos de la FIB. Pero lo más gratificante son los mensajes que recibimos de agradecimiento por haber creado esta ventana a la vanguardia de la tecnología que permite a mucha gente estar al día y, a su vez, conocer a otras personas que están en su misma sintonía.
- ¿Qué papel tiene el BSC en esta iniciativa?
El BSC tiene la suerte de estar expuesto a los últimos avances en el campo del Big Data y, por tanto, juega un papel primordial a la hora de saber qué se “cuece” en el mundo antes de que llegue al mercado como producto. Por ello el BSC tiene una posición única para contribuir a orientar correctamente esta energía que hay alrededor de Spark en Barcelona y su área de influencia. Además, no olvidemos que la mayoría de los que estamos detrás del meetup, además de investigadores en el BSC, somos también profesores de la universidad UPC y está en nuestros genes la vocación de transmitir el conocimiento.
- ¿Qué se hace en el BSC en cuanto a Spark?
Spark es un entorno de ejecución entre muchos en el mundo de la investigación y por tanto Spark en el BSC es un entorno más. El centro realiza investigación en multitud de problemas y además recordemos que el BSC tiene sus propias propuestas de entornos y modelos de programación Big Data, con lo cual no diría que tenga un papel predominante. Pero está claro que para ciertos tipos de problemas Big Data, Spark es una buena propuesta de partida y por ello analizamos su rendimiento en plataformas como el MareNostrum entre muchas otras, además de colaborar con la empresa Databricks, que es la que se ha creado alrededor de Spark.
- Durante el mes de junio habéis programado diversas actividades alrededor de Apache Spark. ¿En qué consisten?
Nuestra idea ha sido hacer un aniversario de puertas abiertas. Habitualmente las presentaciones que hemos estado haciendo iban dirigidas a gente que ya forma parte del meetup y presuponen un cierto background de Spark a los asistentes. Esta vez vamos a dirigirnos a un público menos iniciado. Esperemos que esto permita a más gente conocer la tecnología Spark. Todas las actividades son gratuitas pero limitadas en número de plazas por riguroso orden de inscripción en nuestra página de meetup.
Actividades
Barcelona Apache Spark Workshop 2015: 2, 5, 8, & 12 junio. UPC Campus Nord.
Los estudiantes del Máster Internacional de Innovación e Investigación de la FIB han preparado unas presentaciones, en total 8 horas, que ofrecen una visión completa de la situación actual de la tecnología Spark.Más info aquí
Tastet práctico de Apache Spark y Machine Learning: 10 junio. UPC Campus Nord.
Sesión práctica en la que cada uno en su portátil podrá experimentar los primeros pasos en Spark y se hará un caso práctico de manejar, procesar y analizar datos de twitter. Más info aquí
Introducción al Big Data práctico con el ecosistema Apache Spark: 15 junio. UPC Campus Nord
Sesión en formato de clase en la que se ofrecerá una introducción a Spark y todo su ecosistema de aplicaciones. La visión será muy introductoria y se contextualizará en el fenómeno de Big Data en que nos encontramos inmersos. Más info aquí
Visita a MareNostrum: 17 junio. Torre Girona
Visita al supercomputador MareNostrum y en la que además se explicarán los trabajos realizados en el BSC para desplegar Spark en el supercomputador. Más info aquí
Ver póster de actividades aquí
