ML-разработчик в команду качества LLM в Алисе

Наша команда занимается улучшением генеративных моделей AliceAI LLM для пользователей Алисы. Сейчас наша главная цель — сделать LLM модель AliceAI ещё более умной, человечной и полезной для многомиллионной аудитории пользователей чата с Алисой AI. Для этого мы работаем с передовыми alignment-техниками, такими как RL и мультиаспектные reward-функции, развиваем LLM-модель и дополняем её новыми свойствами.

В октябре 2025 года мы представили новую AliceAI LLM, основанную на архитектуре MoE. Чтобы делать продукт ещё круче, мы ищем ML-инженера, заинтересованного в прикладной работе с LLM-моделями и техниками RL.

Почему у нас круто?

• Вы будете на передовой AI: предстоит работать с технологиями, которые определят будущее ИИ
• Реальный импакт: ваши решения увидят и оценят миллионы пользователей
• Сильнейшая команда: коллеги, с которыми можно свернуть горы
• Постоянное развитие: доступ к самым свежим исследованиям и вычислительным ресурсам

Это шанс не просто работать с LLM, а создавать ИИ, который изменит правила игры. Присоединяйтесь!

Исследование подходов RL
Хороший ответ LLM обладает разными ценными свойствами: это структурированность, полезность, человечность, фактологичность, безопасность и другие. Для улучшения каждого из свойств мы используем методы RL (например, GRPO), в основе которых лежат reward-модели, обученные для оценки каждого из аспектов. При работе над аспектом возникает ряд сложных технических задач, например борьба с reward-hacking, корреляцией и антикорреляцией разных reward-функций, поиск tradeoff-ов между разными аспектами. Именно эти задачи нужно будет решать на повседневной основе, реализуя и совершенствуя методы обучения.

Работа с RAG
Для повышения полезности и фактологичности ответа AliceAI LLM может использовать источники из поиска Яндекса. При работе над каким-либо срезом ответов, например образовательным, важно думать о том, чего мы ожидаем от модели при виде релевантного или нерелевантного документа, сможет ли модель ответить «из головы». Поэтому в нашей работе мы зачастую ставим эксперименты для улучшения качества за счёт правильного использования внешних источников информации.

Возможность развития вширь
Наша команда находится в центре стремительно развивающегося продукта AliceAI. Вплотную с нами продуктом занимается множество людей — аналитики, бэкенд- и фронтенд-разработчики, продуктовые исследователи. В ходе взаимодействия с ними экспертный опыт в области растёт, рождаются новые идеи и инсайты. Обнаружив такую точку роста, при желании можно сформулировать задачу, согласовать совместные шаги со смежными командами и довести её до результата — не только с технической стороны, но и с точки зрения управления. Подобные инициативы отлично развивают навыки лидерства и техлидерства, и появляются они достаточно часто.

Подробнее про Alice AI

Больше об ML в Яндексе — в канале Yandex for ML

• Отличаетесь глубоким интересом к прикладным ML-исследованиям и страстью к созданию умных моделей
• Работали с NLP и LLM и понимаете, как устроены современные языковые модели

• Имеете опыт в reinforcement learning (RL) и знаете, как заставить модели учиться на своих действиях