Руководитель аналитики приёмки моделей в команду Alice AI

Алиса — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Наша команда развивает качество ключевой LLM-технологии компании: мы работаем над тем, чтобы модели становились умнее, полезнее и надёжнее.

Приёмка — момент, когда решается судьба релиза. Перед каждой выкаткой нужно понять, как изменилось качество модели, на каких сценариях она выросла, а где просела, и достаточно ли этого для пользователей. Мы измеряем модель по нескольким независимым аспектам качества — на профессиональных разметчиках, доменных экспертах и автоматических оценщиках, — и на основании этих замеров команда принимает решение о релизе.

Приёмка моделей
Вы будете полностью вести приёмку новых версий моделей: определять, какие замеры нужны для конкретного релиза, запускать оценки, объединять результаты и готовить заключение о качестве модели. В заключении нужно разобрать сценарии и привести конкретные примеры изменений. Ваше заключение станет основой для решения о выкатке — его будут принимать вместе с ML‑разработчиками и продуктовой командой.

Развитие системы метрик
Вы станете развивать систему метрик, которая покажет реальное качество моделей. Вам нужно будет определить обязательные сигналы, объединить разные оценки в общую картину, рассчитать статистическую значимость и научиться отличать настоящие изменения от случайного шума. Также предстоит сравнить наши модели с самыми сильными решениями на рынке.

Работа с данными и инструментами приёмки
Вы будете отвечать за оценочные наборы — определять их состав, следить за покрытием важных сценариев, управлять версиями и обеспечивать воспроизводимость замеров. Также вам предстоит развивать инструментарий: создавать автоматические оценщики на базе LLM (LLM-as-a-judge) и применять гибридные методы. Нужно будет сравнивать новую модель с текущей продовой, а также сопоставлять офлайн‑оценки с онлайн‑метриками — чтобы выяснить, какие из них реально предсказывают поведение пользователей.

Управление командой и процессами
Вы соберёте команду аналитиков приёмки, будете распределять направления работы, наставничать и планировать ресурсы. Поскольку приёмка затрагивает несколько команд, важно договориться о едином процессе и сделать его понятным и предсказуемым для всех участников.

• Управляли командой аналитиков не менее двух лет
• Любите работать с данными и умеете извлекать из них практический результат
• Знаете математическую статистику и теорию вероятностей
• Умеете писать код на Python и знаете алгоритмы
• Умеете формулировать обоснованное заключение и защищать его перед заказчиками в условиях неполных данных
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Интересуетесь развитием LLM и хотите глубоко погрузиться в тему

• Работали с NLP, краудсорсинговыми разметками и ML
• Строили процессы оценки качества LLM: голденсеты, LLM-as-a-judge, контроль качества разметчиков
• Занимались оценкой агентских сценариев и мультимодальных моделей
• Работали на стыке офлайн-оценки и онлайн-экспериментов