- Мастер-класс
9-10 декабря приглашаем вас познакомиться с направлением Big Data engineering и узнать, с какими задачами сталкивается Big Data специалист.
Регистрация по ссылке.
На теоретической сессии 9 декабря участники познакомятся с понятием "большие данные" и семейством технологий, позволяющих строить распределенные системы обработки информации. Будет разобран процесс разработки ETL-процесса с использованием средств экосистемы Hadoop. Кроме того, участники смогут узнать о роли разработчика в Data-проекте, типовых задачах Data-инженера и сложностях, связанных с многогранностью мира Data.
Практическая часть пройдет в формате мастер-класса 10 декабря, где участники, разделившись на небольшие группы, под руководством ментора подготовят данные для их использования Data-командами других направлений. Задачей разработчиков будет реализация ETL-процесса с использованием языков Scala, Java или Python и фреймворка Spark. В ходе разработки будет использовано хранилище Amazon S3, а также СУБД DynamoDB и Hive.