Инженер данных

Мы в поисках талантливого Инженера данных в Направление развития инструментов платформы.

Команда строит Data-платформу внутри Магнита - современное хранилище данных Data Lake.
В фокусе — платформа и инструментарий, чтобы другие команды могли загружать данные самостоятельно!

Стек: Python, Apache Airflow, Apache Spark, Apache Iceberg, Trino, Impala

Задачи

• Разрабатывать и развивать платформы batch- и CDC-инжеста данных в Data Lake
• Проектировать платформенные компоненты и API для подключения источников, заниматься настройками загрузок и управлять жизненным циклом данных
• Развивать интеграции с Iceberg, Spark, Trino, Impala, Kafka, Kafka Connect и Debezium
• Разрабатывать механизмы надёжности: отвечать за контроль качества и полноты данных, обрабатывать ошибки, повторные запуски и восстановление загрузок
• Проводить анализ и заниматься оптимизацией производительности, масштабируемости и потребления ресурсов платформы
• Подключаться к сопровождению потоков при сложных инцидентах

Требования

• Опыт коммерческой разработки на Python от 2–3 лет, умение писать поддерживаемый и тестируемый код
• Уверенное знание SQL, принципов моделирования и хранения данных, особенностей распределённых вычислений
• Опыт работы с Apache Airflow и Apache Spark
• Понимание архитектуры и принципов эксплуатации распределённых систем

Условия

• Оформление в аккредитованную ИТ-компанию
• Конкурентоспособную заработную плату (обсуждается индивидуально)
• ДМС со стоматологией и льготными условиями для членов семьи
• Технику для работы
• График работы 5/2 с гибким началом
• Работу в максимально уютном офисе в центре Москвы (ст. м. Савёловская), в Краснодаре или удаленно из других городов РФ, так же есть офисы в Санкт-Петербурге (ст. м. Балтийская) и в Иннополисе
• Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
• Развитие – мы оплачиваем обучение на курсах и участие в конференциях
• Возможность проведения и участия в митапах, хакатонах, где можно познакомиться с работой других подразделений
• Наличие корпоративных скидок PRIMEZONE и программ лояльности от компании
• Наличие корпоративной библиотеки курсов
• Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе