Ведущий аналитик качества в команду Вселенной AI-ассистентов
Мы работаем над новыми пользовательскими продуктами — AI-ассистентами на базе LLM. Пять ассистентов помогают клиентам в разных сферах жизни: финансах, инвестициях, шопинге, путешествиях. Еще есть Джуниор — детский ассистент.
Задача аналитика качества — сделать так, чтобы ассистенты отвечали понятно, не придумывали лишнего и были полезны для пользователя. У нас новый продукт и команда: мы выстраиваем процессы с нуля без легаси. Вы сможете влиять на подходы к решениям с первого дня, а мы поддержим вашу инициативу.
Вам предстоит разобраться в способах оценки моделей и специфике работы LLM. Мы тесно взаимодействуем с командой NLP, поэтому ждем коллегу с насмотренностью, который будет с нами на одной волне и сможет привносить новые фичи в продукт.
Основная задача на первые месяцы в этой роли — научиться понимать успешность нового релиза до раскатки на пользователей. Чем меньше времени будет занимать такая оценка, тем быстрее мы сможем развивать продукт. Мы хотим уходить от ручных процессов, поэтому планируем автоматизировать часть работы с разметкой.
Узнать больше о профессии: продуктовые аналитики в Т-Банке.
- У вас есть опыт на границе продуктовой аналитики и Data Science: чат-боты, рекламные аукционы, поисковые системы, генеративные технологии
- Владеете SQL и Python на уверенном уровне, особенно Pandas
- Умеете писать хороший аналитический продакшен-код
- Хотите работать с текстовыми данными в LLM-продуктах
- Создавать и прокачивать систему оценки AI-ассистентов — от создания корзинок с запросами и разработки метрик до анализа результатов и добавления фич в продукт
- Организовывать разметку качества руками краудсорсеров и строить автоматизированные пайплайны с LLM-as-a-Judge
- Искать инсайты в пользовательских диалогах, придумывать эксперименты и предлагать, как еще улучшить качество наших моделей
- Собирать данные для алаймента собственной языковой модели Т-Банка под задачи ассистентов
- Гибридный график и офис у метро «Белорусская», в котором есть все что нужно: Т-Клиника, салон красоты, фитнес-зоны, комнаты для сна и медитации. Если захочется поработать на свежем воздухе — терраса с панорамным видом
- Возможность работы в аккредитованной ИТ-компании
- ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней
- Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью
- Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи
- Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни
- Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами
- Завтраки и обеды в Т-Кафе. В офисе есть ресторан и кофейни, на каждом этаже — кухня, где можно перекусить
- 3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию
- Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров
- Достойную зарплату — обсудим ее на собеседовании
