Главный разработчик ML / MLOps

MAGNIT TECH·Russia·Удалённо, Офис·4 нед. назад

Мы развиваем ML-платформу прогнозирования спроса для федеральной розничной сети. Работаем с большими объемами данных: отдельные расчеты обрабатывают терабайты данных, а общий объем данных платформы измеряется петабайтами.

Расчетный контур построен на Spark и Kubernetes, оркестрация на Airflow, данные храним в S3 и Delta Lake.

Задачи

интегрировать новые ML-алгоритмы и изменения от Data Science в промышленный контур прогнозирования
развивать MLOps-фреймворк, процессы разработки, тестирования и поставки изменений между DEV, UAT и PROD
развивать и сопровождать расчетные пайплайны и оркестрацию в Apache Airflow
оптимизировать и масштабировать Spark-расчеты на больших объемах данных
работать с Kubernetes-инфраструктурой под Spark-приложения
развивать мониторинг, логирование, Data Quality, lineage и инструменты диагностики расчетов
развивать процессы версионирования, хранения и управления жизненным циклом данных в S3 и Delta Lake
развивать CI/CD и внутренние инструменты ML-платформы
проводить технические PoC и внедрять новые технологии, которые могут повысить производительность и надежность платформы, например Ray, Apache Comet и новые версии Spark

Требования

уверенное знание Python и опыт промышленной разработки
хороший практический опыт с Apache Spark / PySpark
опыт разработки и сопровождения пайплайнов в Apache Airflow
практический опыт работы с Kubernetes и Docker
уверенное знание SQL
опыт работы с большими объемами данных
опыт работы с S3 или другими объектными хранилищами
понимание принципов CI/CD и процессов поставки изменений
понимание подходов к мониторингу, отказоустойчивости и эксплуатации production-систем

Дополнительно

опыт работы с Delta Lake или другими lakehouse-технологиями
опыт MLOps или эксплуатации промышленных ML-систем
опыт оптимизации и масштабирования Spark-приложений
опыт работы с Data Quality, metadata и lineage
опыт работы с облачной инфраструктурой

Условия

Оформление в аккредитованную ИТ-компанию
Конкурентоспособную заработную плату (обсуждается индивидуально)
ДМС со стоматологией и льготными условиями для членов семьи
Технику для работы
График работы 5/2
Работу в максимально уютном офисе в центре Москвы (ст. м. Савеловская), в Краснодаре или удаленно из других городов РФ, так же есть офисы в Санкт-Петербурге (ст. м. Балтийская) и в Иннополисе
Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
Развитие – мы оплачиваем обучение на курсах и участие в конференциях
Возможность проведения и участия в митапах, хакатонах, где есть возможность познакомиться с работой других подразделений
Наличие корпоративных скидок PRIMEZONE и программ лояльности от компании
Наличие корпоративной библиотеки курсов
Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе