Ведущий разработчик ML / MLOps

Мы развиваем ML-платформу прогнозирования спроса для федеральной розничной сети. Работаем с большими объемами данных: отдельные расчеты обрабатывают терабайты данных, а общий объем данных платформы измеряется петабайтами.

Расчетный контур построен на Spark и Kubernetes, оркестрация на Airflow, данные храним в S3 и Delta Lake.

Задачи

• интегрировать изменения и новые алгоритмы от Data Science в промышленный контур прогнозирования
• разрабатывать и сопровождать Spark-приложения и расчетные пайплайны
• работать с Airflow DAG и процессами запуска расчетов в DEV, UAT и PROD
• участвовать в развитии MLOps-фреймворка, версионирования расчетов и релизного процесса
• оптимизировать Spark-расчеты и помогать обеспечивать стабильное выполнение пайплайнов в рамках SLA
• работать с Kubernetes-инфраструктурой под Spark-приложения
• участвовать в развитии мониторинга, логирования, Data Quality и диагностики расчетов
• работать с данными в S3 и Delta Lake, историей расчетов и процессами хранения данных
• участвовать в развитии CI/CD и внутренних инструментов ML-платформы
• участвовать в технических PoC и тестировании новых технологий на реальных расчетах

Требования

• хорошее знание Python
• практический опыт с Apache Spark / PySpark
• опыт работы с Apache Airflow
• уверенный SQL
• базовый практический опыт с Kubernetes и Docker
• понимание принципов работы с большими объемами данных
• опыт работы с S3 или другими объектными хранилищами
• понимание CI/CD и процессов разработки
• умение разбираться в проблемах production-пайплайнов и работать с логами и мониторингом

Дополнительно

• опыт с Delta Lake или другими lakehouse-технологиями
• опыт работы с ML или MLOps-системами
• опыт оптимизации Spark-приложений
• опыт с Data Quality, metadata или lineage
• опыт работы с Kubernetes в production
• опыт работы с облачной инфраструктурой
• опыт с Grafana, Spark History или похожими инструментами

Условия

• Оформление в аккредитованную ИТ-компанию
• Конкурентоспособную заработную плату (обсуждается индивидуально)
• ДМС со стоматологией и льготными условиями для членов семьи
• Технику для работы
• График работы 5/2
• Работу в максимально уютном офисе в центре Москвы (ст. м. Савеловская), в Краснодаре или удаленно из других городов РФ, так же есть офисы в Санкт-Петербурге (ст. м. Балтийская) и в Иннополисе
• Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
• Развитие – мы оплачиваем обучение на курсах и участие в конференциях
• Возможность проведения и участия в митапах, хакатонах, где есть возможность познакомиться с работой других подразделений
• Наличие корпоративных скидок PRIMEZONE и программ лояльности от компании
• Наличие корпоративной библиотеки курсов
• Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе