Инженер данных
Мы в поисках талантливого Инженера данных в Направление развития инструментов платформы.
Команда строит Data-платформу внутри Магнита - современное хранилище данных Data Lake.
Ребята разрабатывают инструменты для интеграции данных в Data Lake. В фокусе — платформа и инструментарий, чтобы другие команды могли загружать данные самостоятельно!
Стек: Python, Apache Airflow, Apache Spark, Apache Iceberg, Trino, Impala
Задачи
- Разрабатывать и развивать платформы batch- и CDC-инжеста данных в Data Lake
- Проектировать платформенные компоненты и API для подключения источников, заниматься настройками загрузок и управлять жизненным циклом данных
- Развивать интеграции с Iceberg, Spark, Trino, Impala, Kafka, Kafka Connect и Debezium
- Разрабатывать механизмы надёжности: отвечать за контроль качества и полноты данных, обрабатывать ошибки, повторные запуски и восстановление загрузок
- Проводить анализ и заниматься оптимизацией производительности, масштабируемости и потребления ресурсов платформы
- Подключаться к сопровождению потоков при сложных инцидентах
Требования
- Опыт коммерческой разработки на Python от 2–3 лет, умение писать поддерживаемый и тестируемый код
- Уверенное знание SQL, принципов моделирования и хранения данных, особенностей распределённых вычислений
- Опыт работы с Apache Airflow и Apache Spark
- Понимание архитектуры и принципов эксплуатации распределённых систем
Условия
- Оформление в аккредитованную ИТ-компанию
- Конкурентоспособную заработную плату (обсуждается индивидуально)
- ДМС со стоматологией и льготными условиями для членов семьи
- Технику для работы
- График работы 5/2 с гибким началом
- Работу в максимально уютном офисе в центре Москвы (ст. м. Савёловская), в Краснодаре или удаленно из других городов РФ, так же есть офисы в Санкт-Петербурге (ст. м. Балтийская) и в Иннополисе
- Возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах
- Развитие – мы оплачиваем обучение на курсах и участие в конференциях
- Возможность проведения и участия в митапах, хакатонах, где можно познакомиться с работой других подразделений
- Наличие корпоративных скидок PRIMEZONE и программ лояльности от компании
- Наличие корпоративной библиотеки курсов
- Возможность рекомендовать компанию своим друзьям, участвуя в реферальной программе
