О чем пойдет речь
- Научитесь разрабатывать приложения на Spark и запускать их на реальном Hadoop-кластере.
- Научитесь строить pipelines обработки данных в реальном времени, используя Spark Structured Streaming.
Что такое realtime обработка больших данных и когда она нужна?
Realtime обработка данных - метод, при котором данные обрабатываются небольшими частями. Работа с каждой частью занимает минимальное время, поэтому всегда виден актуальный результат.
Отличными примерами использования realtime обработки больших данных являются потоковая передача данных, радиолокационные системы, рекомендательные системы и банкоматы, где немедленная обработка имеет решающее значение для правильной работы системы.
Для кого интенсив:
— Data engineers и архитекторы Big Data-приложений, которые интересуются методами realtime-обработки данных;
— разработчики из других сфер, которым интересно получить Best practices в области realtime-обработки данных.