Data Quality Engineer

Задачи

• Проведение аудита качества данных;
• Создание тестов для таблиц в хранилище;
• Автоматизация проверки качества данных;
• Формирование проектной документации (инциденты / процессы / описание проверок и тд);
• Консультирование владельцев данных и заказчиков по вопросам покрытия чеками и тестами их витрин.

Требования

• Опыт работы в качестве QA engineer от 3х лет, с углублением в Data QA минимум от 1 года;
• Уверенное знание SQL;
• Понимание метрик качества данных: полнота, уникальность, корректность, согласованность и актуальность;
• Поиска причин нарушений качества данных и взаимодействия с командами для их устранения;
• Опыт работы с Python: pandas , requests, SQL Alchemy;
• Опыт работы с инструментами профайлинга (например Pandas Profiling);
• Опыт работы с Soda/Great Expectation/Apache Deequ/DBT tests;
• Опыт работы с Airflow;
• Опыт работы с AI.

Будет плюсом:

• Опыт работы с Trino, DBT;
• Знание одного из инструментов визуализации (Power BI / Tableau Metabase Grafana).