Аналитик-разработчик метрик профицита
Привет! Меня зовут Юля, я отвечаю за профицит — главную онлайн-метрику качества Поиска в Яндексе. По сути, мы в команде боремся за счастье пользователя: оцениваем, насколько успешно и удобно люди решают свои задачи с помощью Поиска, и помогаем задавать вектор его развития.
Если хотите, чтобы ваша работа была связана с математикой и улучшала мир, это к нам 🙂
Яндекс постоянно улучшает свои сервисы. Мы измеряем счастье пользователя: удобно ли пользоваться Поиском, как быстро он помогает решить задачу. А также определяем пользу коммерческого среза: какие покупки помог совершить Яндекс, сколько их было.
Чтобы понять, будет ли планируемое нововведение полезным, обычно проводим A/B-эксперименты: делим пользователей на две группы, каждой из которых показываем свою версию продукта.
Мы не ограничиваемся базовыми подходами к построению метрик и повышению чувствительности и стараемся разрабатывать новые сигналы пользовательской удовлетворённости, находим решения в условиях неполных данных, придумываем неожиданные способы применения машинного обучения.
Вы присоединитесь к одной из сильнейших аналитических команд Яндекса, которая создаёт метрики, определяющие развитие Поиска. Мы разрабатываем собственные методы оценки качества, решаем сложные исследовательские задачи и внедряем современные ИИ-инструменты, включая LLM-агентов, чтобы автоматизировать рутинную аналитику и сосредоточиться на поиске новых продуктовых инсайтов.
Создание системы метрик для выбора той или иной версии продукта
Мы смотрим на все действия пользователя и понимаем, когда задача в Поиске была решена успешно. Если решение было успешным, мы видим, насколько оно было простым и удобным. В итоге получается разметка успешности сессий пользователя, по которой обучается ML-модель.
Наша команда отвечает не только за таргет этой модели, но и за превращение предсказаний модели в конечную метрику — основную приёмочную метрику Поиска.
Разработка метрик счастья пользователя на фокусных срезах
Мы уделяем большое внимание фокусным срезам. Например, если запрос коммерческий, то действия пользователя сильно отличаются от действий при информационных запросах. При этом нам гораздо сложнее понять, когда задача была решена, а когда нет. На помощь приходят сигналы покупок и добавления товара в корзину. Мы разделяем интент пользователя на информационный и покупочный и по-разному определяем успешность в зависимости от цели запроса.
Построение прокси-метрики к заданной верхнеуровневой метрике
Приёмочная метрика должна не только локально отражать счастье пользователя, но и быть прокси-метрикой к таким бизнес-метрикам счастья, как SpU в общем для Поиска и, например, количество покупок пользователей на коммерческом срезе.
Мы показываем, что локальная польза связана с долгосрочной, а также находим способы изменения метрик счастья, чтобы эта связь усиливалась.
- Программируете на Python или C++
- Любите математику
- Владеете основами теории вероятностей и математической статистики
- Умеете решать нестандартные математические задачи
- Читаете и понимаете профильные тексты на английском языке
- Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую
- Применяли машинное обучение
- Победитель или призёр международных или всероссийских олимпиад по математике
