NLP engineer в Алису

Яндекс·Russia, Belarus·Удалённо, Офис·3 нед. назад

Алиса — AI-ассистент, которым каждый день пользуются более 24 миллионов людей в Поиске, Браузере и на умных устройствах. Наша команда учит Алису работать с реальными сервисами (Почтой, Диском, внешними), чтобы она не просто отвечала на вопросы, а действовала: писала письма, заводила задачи, обновляла статусы, перемещала и находила файлы. Коннекторы, продукт нашей работы — это настоящие руки модели, которыми она может делать полезные вещи! Некоторые из них (например, коннектор почты) уже в проде и каждый день становятся ещё лучше.

Мы ищем инженера, который поможет расширить функциональность и свободу действий Алисы, чтобы люди с её помощью решали рутинные и даже сложные задачи в несколько запросов и хотели пользоваться Алисой каждый день.

У нас широкий, разнообразный research-продуктовый скоуп задач, включающий RAG-пайплайн, разнообразные агентные и нетривиальные подходы, RL и RLHF, alignment и «классический» NLP — он позволит вам не устать от однообразных вызовов. От самописного харнеса (при желании) до оптимизации и обучения — вы будете видеть импакт своих действий, не отказываясь от возможности использовать самые передовые и интересные методы из свежих статей!

Улучшать базовую самостоятельность модели
Продумывать масштабируемые модельные решения, методы оценки и ревардинга модели, подходы к агентности и интеграции с сервисами, а также улучшать качество ответов как таковое, включая человечность и, конечно же, красоту.

Развивать и строить новые инструменты и подходы
Мы делаем ставку на самостоятельность модели в решении задач: LLM должна уметь использовать инструменты реактивности там, где это нужно, а где-то генерировать код, искать документы и извлекать информацию RAG-методами. Наша задача — сделать модель, которая будет работать в среде внутренних и внешних сервисов, источников, «как у себя дома».

Интегрировать Алису с реальными сервисами
Разрабатывать новые коннекторы Почты, Диска, Календаря, трекеров задач и внешних API. Придумывать, как сделать так, чтобы взаимодействие модели с этими сервисами не просто работало, а решало задачу пользователя.

Проектировать и улучшать воркфлоу- и агентные пайплайны
Строить многошаговые сценарии: планирование, декомпозиция задачи, вызов инструментов, проверка результата и корректировка курса — всё это должно работать надёжно и предсказуемо даже в нестандартных ситуациях.

Разрабатывать системы оценки и ревардинга
Придумывать метрики, которые отражают реальную пользу, а не просто красивые цифры на бенчмарке. Строить reward-модели, запускать human-eval- и LLM-as-judge-эксперименты, закрывать петлю обратной связи.

Тюнить и оптимизировать поведение модели
Анализировать ошибки и сбои на живом трафике, собирать целевые датасеты и итеративно улучшать модель с помощью SFT, DPO, RLHF и других методов. Находить баланс между общим качеством и точечными улучшениями под конкретные сценарии — так, чтобы Алиса становилась лучше с каждым релизом.

Больше об ML в Яндексе — в канале Yandex for ML