Junior Data Engineer в Скоринг [Big Data, МТС Веб Сервисы]

Обязанности

Разрабатывать и поддерживать ETL/ELT-пайплайны для обработки данных; Писать и оптимизировать SQL-запросы для выборки и трансформации данных; Очищать, преобразовывать и готовить данные для аналитики и ML-моделей; Мониторить работоспособность пайплайнов и оперативно реагировать на инциденты в дни дежурств; Участвовать в проектировании структуры хранилищ данных и витрин; Писать unit- и интеграционные тесты для разрабатываемого функционала; Автоматизировать рутинные задачи с помощью Python; Документировать процессы, пайплайны и принятые технические решения; Участвовать в code review и перенимать лучшие практики команды.

О проекте

MTC Web Services (MWS) — битех-компания, предоставляющая облачные, AI-сервисы и платформенные решения под разные задачи бизнеса: от работы с данными до разработки продуктов и оптимизации процессов. Ищем Junior Data Engineer в команду продукта Скоринг (направление Big Data). Скоринг — это коммерческий B2B-продукт, который помогает снижать финансовые риски, улучшать модели принятия решений.

Требования

Базовое знание Python (стандартная библиотека, работа с данными); Владение SQL, понимание основ реляционных баз данных; Понимание принципов работы с большими данными (HDFS, Spark — хотя бы на уровне теории); Опыт работы с Git и базовое понимание CI/CD; Знакомство с Linux и умение работать в терминале; Понимание основ построения хранилищ данных (слои, витрины, нормализация); Будет плюсом:; Опыт работы с PySpark, Airflow, Kafka; Понимание работы с аналитическими базами данных (ClickHouse и аналоги), опыт оптимизации запросов; Знакомство с Docker и Kubernetes;

Условия

Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации; Участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch; Полезные курсы и вебинары в корпоративном университете и электронную библиотеку; А еще:; ДМС с первого месяца работы, включая стоматологию; Страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях; Отпуск 28 календарных дней; Прием врачей общей практики и массаж в офисе; Мобильная связь за счет компании и льготные тарифы для близких; Подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.