Data Engineer
Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.
Предлагаем присоединиться в роли Data Engineer и работать над проектом заказчика.
Заказчик - крупнейший коммерческий банк страны, лидер по объему активов и цифровому развитию. Активно продвигает мобильные сервисы, ценит скорость, гибкость и неформальный подход внутри команд. Многократно отмечен престижными наградами, в том числе «Bank of the Year in Russia 2019» (The Banker) и «Best Mortgage Bank in CEE» (Global Finance).
Обязанности
- реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем;
- реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения;
- разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу;
- своевременно отражать статусы выполнения задач в Jira;
- проверять качество кода, написанного инженерами данных.
Требования
- опыт работы в роли Data Engineer от 4-х лет;
- отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование;
- опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas;
- опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников;
- способность разобраться с API поставщиков данных, используя доступную документацию;
- отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности;
- опыт работы с БД Oracle, Postgres, Greenplum;
- опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow;
- опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark;
- опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups.
Будет плюсом
- опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink.
Что мы предлагаем
- конкурентная зарплата, сумму обсуждаем отдельно с каждым кандидатом;
- проекты от топовых компаний;
- оформление по ТК;
- возможность выбирать формат работы: из дома, из офиса или гибридный;
- комфортные офисы в городах-центрах разработки;
- медицинская страховка (+стоматология);
- sick-days, оплачиваемый бенч, отпуск и больничные;
- частичная компенсация спортивных абонементов и компенсация расходов на оплату коворкинга;
- доплаты за менторство, ведение обучающих курсов, ревью проектов и участие в других профактивностях компании;
- прозрачная система Performance Review и ментор на все время работы;
- поэтапная система адаптации новых сотрудников;
- корпоративный портал с материалами для изучения любого нового стека и повышения уровня по своей специальности и не только;
- участие в технических митапах и конференциях в качестве гостя и спикера;
- корпоративы и тимбилдинги;
- детские праздники и мастер-классы с подарками и сладостями для семей сотрудников.
