Data Engineering Team Lead

Команда развивает корпоративное DWH на ClickHouse с нуля — хранилище уже в проде и влияет на ключевую отчётность компании, но проект в стадии активного роста: круг потребителей и объём задач быстро расширяются.

Предстоит не просто поддержать этот рост, а выстроить его правильно — так, чтобы данные оставались быстро доступными и при этом не теряли единую версию правды.

• Прямое управление командой дата-инженеров: постановка задач, приоритизация, код-ревью, менторство, найм (в том числе предстоящий найм сеньора в команду)
• Отвечать за архитектура DWH: слои raw → stg → prep → core → dmt
• Проектное управление: roadmap развития DWH
• Управление доступом к данным: ролевая модель, права, гранты, распределение ресурсов хранилища между растущим числом потребителей
• Выстраивание процессов: CI/CD, Data Quality, Data Governance, дежурства и инцидент-менеджмент, стандарты разработки data pipelines и dbt моделей
• Выстраивание взаимодействия DE с бизнес-аналитиками, продуктовыми аналитиками, BI и другими потребителями данных

• Опыт работы тимлидом дата-инженеров от 2 лет: реальный опыт постановки задач, проведения код-ревью, найма и развития сотрудников — не только техническая экспертиза
• Уверенный опыт с ClickHouse и dbt в проде
• Опыт построения или развития DWH по dimensional modeling / методологии Kimball
• Сильный SQL и понимание оптимизации запросов в ClickHouse (партиционирование, движки, materialized views, инкрементальная загрузка)
• Опыт работы с оркестраторами (Airflow или аналог)
• Python на уровне дата инженерных задач (ETL/ELT, автоматизация, интеграции с API)
• Опыт выстраивания Data Quality процессов (тесты, мониторинг аномалий, документация)
• Опыт CI/CD и работы с git-flow
   

• Опыт управления доступом к данным: ролевые модели, гранты, разграничение прав в хранилище на несколько команд-потребителей
• Опыт внедрения CDC
• Опыт с Kafka, Trino, Spark

• Гибридный формат работы в Санкт-Петербурге