ML-аналитик в команду Вселенной ассистентов
Мы работаем над новыми продуктами — AI-ассистентами на базе LLM. Сердце всей экосистемы — General-ассистент. Это первая точка входа для пользователя: General отвечает на общие вопросы и перенаправляет на нужного ассистента, если задача специализированная.
Задача General-ассистента — понимать запрос и отвечать на общие вопросы с помощью знаний LLM и поиска. Если запрос относится к конкретной сфере — аккуратно маршрутизировать пользователя в соответствующий вертикальный навык: Шопинг, Путешествия и так далее. Запросы могут быть разными — от оформления загранпаспорта до подбора развивающих игр для детей.
Ассистент отвечает за единый стиль общения, качество базового опыта и целостность взаимодействия со всеми ассистентами.
Ищем ML-аналитика, который будет отвечать:
— за качество LLM-ассистента: понятность ответов, отсутствие галлюцинаций, корректный роутинг, единый тон общения;
— перевод качественных метрик в продуктовые: конверсию в сценарии, удержание, удовлетворенность, глубину использования, эффективность маршрутизации и так далее.
У нас новая команда без легаси-процессов: много экспериментов, быстрые прототипы, постоянная связь с продакт-менеджером и NLP-командой.
Ждем аналитика с насмотренностью в LLM-решениях, который будет с нами на одной волне и сможет привносить новые фичи в продукт.
- У вас есть опыт на границе продуктовой аналитики и Data Science: чат-боты, рекламные аукционы, поисковые системы, генеративные технологии
- Владеете SQL и Python на уверенном уровне, в приоритете Pandas
- Умеете писать хороший аналитический продакшен-код
- Хотите работать с текстовыми данными в LLM-продуктах
- Пользуетесь LLM в работе и жизни
- Будут плюсом самостоятельные pet-проекты с ML- и LLM-агентами, понимание современных подходов к оценке LLM: LLM-as-a-Judge, инструкции для разметчиков, офлайн- и онлайн-эксперименты, human-in-the-loop
- Создавать и прокачивать систему оценки ассистента — от создания корзинок с запросами и разработки метрик до анализа результатов и добавления фич в продукт
- Организовывать разметку качества руками краудсорсеров и строить автоматизированные пайплайны с LLM-as-a-Judge
- Рассчитывать продуктовые метрики и организовывать регулярную отчетность по продукту
- Искать инсайты в пользовательских диалогах, придумывать эксперименты и предлагать, как еще улучшить качество нашего продукта
- Собирать данные для алаймента нашей языковой модели под задачи ассистентов
- Гибридный график и офис у метро «Белорусская», в котором есть все что нужно: Т-Клиника, салон красоты, фитнес-зоны, комнаты для сна и медитации. Если захочется поработать на свежем воздухе — терраса с панорамным видом
- Возможность работы в аккредитованной ИТ-компании
- ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней
- Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью
- Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи
- Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни
- Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами
- Завтраки и обеды в Т-Кафе. В офисе есть ресторан и кофейни, на каждом этаже — кухня, где можно перекусить
- 3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию
- Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров
- Достойную зарплату — обсудим ее на собеседовании
