Data Engineer

Aviasales·Удалённо·сегодня

Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.

В компании много самодостаточных команд. В каждой команде свои сервисы, свои разработчики и аналитики. Так что у нас достаточно потоков данных самого разнообразного формата и объема. Это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. Это требует разных подходов с нашей стороны.

Наша платформа основана по принципам LakeHouse архитектуры. Наш стек: Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte, Apache Airflow, DataHub.
Тестирование и сборка производятся на CI сервере (Jenkins). Также присутствует Terraform. Деплой в Kubernetes(EKS в AWS). Настройкой серверов и разворачиванием баз мы не занимаемся. Это делает отдельная команда инфраструктуры.

Нам нужен еще один дата инженер в нашу дружную команду, который в ближайшей перспективе будет сфокусирован на задачах одной из продуктовых команд.

Чем предстоит заниматься

подключать новые источники и разрабатывать/модернизировать data pipelines;
настраивать и поддерживать аналитическое окружение;
отправлять и обмениваться данными с внешними и внутренними сервисами;
модернизировать текущую дата платформу вместе с core командой дата инженеров;
работать в паре с еще одним продуктовым дата инженером.

Мы ждём от вас

опыт работы инженером данных от 2 лет;
отличное знание Python, SQL;
опыт разработки процесса для тестирования данных
умение строить высоконагруженные streaming и batch пайплайны
опыт работы в нашем стеке Apache Spark, Apache Airflow, Trino будет плюсом;
опыт работы с Kubernetes, Terraform и с AWS приветствуется
самостоятельность и ответственность, умение коммуницировать с разными командами и людьми
желание развиваться и выстраивать процессы вокруг себя;
навыки работы с ИИ агентами ( Claude Code, Codex и тд).

Что мы предлагаем

в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
на райском острове: можно работать на Пхукете с видом на океан.