Data Engineer

Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.

Предлагаем присоединиться в роли Data Engineer и работать над проектом заказчика.

Заказчик - крупнейший коммерческий банк страны, лидер по объему активов и цифровому развитию. Активно продвигает мобильные сервисы, ценит скорость, гибкость и неформальный подход внутри команд. Многократно отмечен престижными наградами, в том числе «Bank of the Year in Russia 2019» (The Banker) и «Best Mortgage Bank in CEE» (Global Finance).

Требования

• опыт работы в роли Data Engineer от 3-х лет;
• отличные знания Python;
• отличные знания SQL;
• опыт разработки сервисов пакетной и потоковой обработки данных для вычисления их векторного представления (embedding) и сохранения в векторном хранилище для обогащения больших языковых моделей (LLM) релевантными контекстными данными (RAG);
• опыт реализации промышленных отказоустойчивых сервисов ETL на Python для пакетной загрузки и трансформации данных под управлением Apache Airflow, Argo Workflows;
• опыт работы с Pyspark;
• опыт асинхронного программного взаимодействия с веб-сервисами по REST API с использованием библиотек aiohttp, httpx;
• знание реляционной СУБД (MySQL, PG, Oracle, MSSQL) на уровне написания сложных запросов;
• опыт работы с любым объектным/файловым хранилищем;
• опыт работы в интерактивных средах (Jupyter, Databricks, Datalore);
• знание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных parquet, orc.

Будет плюсом

- знание любого векторного хранилища; - опыт использования платформ потоковой обработки данных: Apache Kafka, Apache Flink; - опыт работы с S3; - опыт чтения и записи потока данных Apache Kafka с помощью библиотек aiokafka, confluent-kafka, kafka-python, разработка потоковых приложений Apache Flink.

Что мы предлагаем

• конкурентная зарплата, сумму обсуждаем отдельно с каждым кандидатом;
• проекты от топовых компаний;
• оформление по ТК;
• возможность выбирать формат работы: из дома, из офиса или гибридный;
• комфортные офисы в городах-центрах разработки;
• медицинская страховка (+стоматология);
• sick-days, оплачиваемый бенч, отпуск и больничные;
• частичная компенсация спортивных абонементов и компенсация расходов на оплату коворкинга;
• доплаты за менторство, ведение обучающих курсов, ревью проектов и участие в других профактивностях компании;
• прозрачная система Performance Review и ментор на все время работы;
• поэтапная система адаптации новых сотрудников;
• корпоративный портал с материалами для изучения любого нового стека и повышения уровня по своей специальности и не только;
• участие в технических митапах и конференциях в качестве гостя и спикера;
• корпоративы и тимбилдинги;
• детские праздники и мастер-классы с подарками и сладостями для семей сотрудников.