Наша команда развивает технологии YandexART — генеративные модели для создания и редактирования картинок по запросу пользователя в продуктах Яндекса, в первую очередь в чате с Алисой и в Шедевруме.
Наша цель — научить модели качественно генерировать и редактировать изображения даже по самым сложным пользовательским запросам. Для этого мы развиваем агентные возможности моделей: хотим научить их рассуждать, планировать последовательность действий, использовать веб-поиск и другие инструменты для решения многошаговых задач.
Оценка качества агентных сценариев
Вы будете разрабатывать замеры, которые покажут, насколько качественно модели справляются с реальными пользовательскими запросами при сложной генерации и редактировании картинок в Алисе. Фокус — на агентских сценариях: цепочки рассуждений, веб-поиск, VLM-feedback loop.
Создание пайплайнов генерации данных для агентных сценариев
Вам предстоит разрабатывать масштабируемые пайплайны создания обучающих данных для агентских сценариев: генерация траекторий рассуждений и вызовов дополнительных инструментов, разметка через judge-модели, фильтрация по качеству и сложности. Также вы станете вместе с ML-командой проводить эксперименты, чтобы наращивать качество модели, и анализировать их результаты.
Аналитика и улучшение обучающих датасетов для генеративных моделей
Вместе с командой подготовки данных вам предстоит искать точки роста в датасетах, определять метрики качества самих данных и анализировать их влияние на качество генераций в экспериментах. Кроме того, вы будете создавать новые датасеты с нуля: проектировать сбор, запускать разметку и контролировать итоговое качество.
Больше об аналитике в Яндексе — в канале Yandex for Analytics