Лена Волжина: "Как подружить физические модели, машинное обучение и производительность продакшена"
Как подружить физические модели, машинное обучение и производительность продакшена
Все мы пользуемся прогнозами погоды, чтобы выбрать подходящую одежду, вовремя помыть машину или спланировать отпуск. Но многие ли знают, как устроено вычисление прогнозов под капотом?
Прогнозировать погоду трудно: в ход идут данные с метеорологических станций по всему миру, с метеорадаров и даже спутников. Чтобы обработать эти данные, требуются кластера на сотни тысяч ядер для рассчёта физических моделей атмосферы. И всё же их прогнозы не идеальны.
Но есть и хорошие новости: часть ошибок моделей можно исправить, если проанализировать, при каких предпосылках они возникли. Чтобы автоматизировать этот процесс, мы в Яндекс.Погоде используем машинное обучение.
В докладе я расскажу, как устроена архитектура нашего сервиса, как мы организовали обработку терабайтов числовых данных в сутки, и какие хаки позволяют нам поддерживать прогнозы максимально актуальными.
Лена Волжина
Россия. Санкт-Петербург
Разработчик
Yandex.Weather
Разработчик в Яндекс.Погоде. Проводит эксперименты для улучшения прогнозов погоды с помощью машинного обучения. Также занимается поддежкой вычисления моделей для продакшена.