Python Webinar

Apache Airflow в Docker

У вас есть pipeline-тул на проекте и он вам не нравится? Хотите попробовать Apache Airflow, но еще не разобрались с ним?
Наш Senior Software Engineer Александр Корягин покажет на реальном примере, как правильно развернуть экосистему Apache Airflow с помощью Docker. Вы узнаете, как все это поднять на одной машине, как нормально дебажить код в Apache Airflow, и зачем вам потребуется два окружения.

О чем будем говорить:

- Зачем нужен ETL в проекте
- Что такое Airflow
- Что было до Airflow (Luigi from Spotify)
- Почему мы сменили тул
- Production environment в Docker
- Development environment в Docker
- Дебаг Python-кода.

Полезно будет всем, кто работает или планирует работать в проектах с пайплайнами.