Инженер данных

MAGNIT TECH·Russia·Удалённо, Офис·6д. назад

Развиваем финтех-направление MAGNIT и строим современную data-платформу на базе Lakehouse для финансовых продуктов и сервисов.

Ищем Data Engineer, который будет участвовать в развитии архитектуры Lakehouse, создавать и поддерживать data pipelines, интеграции и качественные наборы данных для аналитики и продуктовых команд. Предстоит работать с большими объемами данных, современным стеком и реальными финтех-кейсами, влияющими на клиентский опыт и развитие продуктов.

Задачи

В первые три месяца:

Погрузиться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений
Освоиться в предметной области данных
Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности

Когда освоишься:

Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования
Развивать модель данных
Рефакторить текущие процессы, предлагать лучшие практики работы с данными
Самостоятельно вести проекты, нужные бизнесу
Участвовать в развитии LakeHouse вTrino

Требования

Знать особенности MPP систем
Уверенно владеть SQL(Оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса)
Иметь опыт с Python достаточный для разработки операторов в AirFlow(ООП) и написания пайплайнов данных из различных источников
Понимать принципы работы AirFlow (Даги, таски,операторы,сенсоры,хуки,контекст)
Опыт в GreenPlum
Опыт Kafka, iceberg, S3, DBT