Data Engineer
Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.
Предлагаем присоединиться в роли Data Engineer!
Заказчик — это ведущий российский ритейлер, который активно развивает онлайн-направление и собственную логистику, сохраняя лидерство в продуктовом ритейле.
Почему это будет интересно?
- возможность прокачать экспертизу в быстроразвивающейся и насыщенной области;
- возможность быть частью изменений, улучшений, запусков новых направлений.
Обязанности
- разрабатывать, реализовывать и поддерживать интеграционные потоки, потоки сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
- разрабатывать инструменты обработки данных;
- разрабатывать системный дизайна сложных решений (C2/DD);
- оперативно реагировать на информацию о проблемах в зоне ответственности, выполнять типовые задачи в установленный срок;
- поддерживать в актуальном состоянии документацию типовых интеграционных решений платформы больших данных.
Требования
- опыт работы в роли Data Engineer от 4-х лет;
- понимание стека технологий Lakehouse;
- понимание различия работы между BigData/Lakehouse и с данными обычного размера;
- знание SQL: индексы, функции, оптимизация, профилирование производительности;
- знание языков программирования (Java, Python);
- опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.);
- умение работать с Git (знание команд git pull/commit/push);
- опыт работы с DBT, Cosmos, Ni-Fi;
- опыт разработки на Spark;
- навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore;
- понимание особенностей Trino;
- понимание форматов данных Iceberg, Parquet, Avro;
- понимание работы с minio или любого другого хранилища на основе S3;
- опыт использования системами ведения проектов и документации;
- опыт разработки нетиповых интеграций (включая SAP-системы);
- опыт разработки near-realtime потоков (Flink, Debezium);
- опыт оптимизации высоконагруженных потоков с использованием инструментов Observability (grafana, victoria metrics, zabbix).
Что мы предлагаем
- конкурентная зарплата, сумму обсуждаем отдельно с каждым кандидатом;
- проекты от топовых компаний;
- оформление по ТК;
- возможность выбирать формат работы: из дома, из офиса или гибридный;
- комфортные офисы в городах-центрах разработки;
- медицинская страховка (+стоматология);
- sick-days, оплачиваемый бенч, отпуск и больничные;
- частичная компенсация спортивных абонементов и компенсация расходов на оплату коворкинга;
- доплаты за менторство, ведение обучающих курсов, ревью проектов и участие в других профактивностях компании;
- прозрачная система Performance Review и ментор на все время работы;
- поэтапная система адаптации новых сотрудников;
- корпоративный портал с материалами для изучения любого нового стека и повышения уровня по своей специальности и не только;
- участие в технических митапах и конференциях в качестве гостя и спикера;
- корпоративы и тимбилдинги;
- детские праздники и мастер-классы с подарками и сладостями для семей сотрудников.
