Аналитик-разработчик в команду аналитики поисковых технологий в Екоме

Привет! Меня зовут Никита, я руковожу командой аналитики поисковых технологий в Екоме Яндекса. Наша команда занимается аналитикой инфраструктурных и ML-технологий, которые лежат в сердце Яндекс Поиска. Мы придумываем метрики, которые помогают отслеживать качество ML-технологий и которые идут в таргет моделей. Ищем точки роста, где продукт работает не идеально и его можно сильно улучшить. Помимо этого, у нас много и других интересных задач.

Ищем специалиста, который будет заниматься аналитикой качества товарного ранжирования в Поиске и в Алисе. Вам предстоит отвечать на множество вопросов. Например:

• Как научить ML-модели понимать, что этот конкретный товар предпочтительнее показать в выдаче, чем какой-то другой?
• Как понять, что ранжирование в Поиске хорошо работает и как это замерить?
• Правда ли, что товары, которые предлагает Алиса пользователям, — это то, что им нужно, и можно ли сделать эту выдачу лучше?
• Можем ли мы понять, что с большей вероятностью хочет видеть пользователь, и предложить ему именно это?

Выстраивание системы метрик
Метрики — основа любого продукта. От их качества зависит, что в итоге выучат наши ML-модели и в какую сторону будет двигаться продукт. Мы используем систему из офлайн- и онлайн-метрик. Эту систему предстоит улучшать, а для этого нужно понять, где её область применения, какие у неё недостатки и как их исправить.

A/B-эксперименты
Эксперименты ранжирования сильно влияют на перераспределение трафика в интернете и на поведение пользователей. А как понять, что стало лучше? Особенно если одна метрика смотрит в позитивную сторону, а другая — в негативную.

Поиск точек роста
Какие фичи стоит добавить в ML-модели? На каких срезах мы работаем лучше, а на каких хуже? Почему мы не показали самую релевантную ссылку по запросу, где она потерялась? Как часто такое происходит? Это только часть вопросов, на которые предстоит отвечать

Больше об аналитике в Яндексе — в канале Yandex for Analytics

• Работали с большими объёмами событийных данных и логами различных сервисов
• Уверенно владеете Python и SQL
• Знаете статистику и теорию вероятностей
• Можете самостоятельно разбираться в данных, находить проблемы качества и причины аномалий

• Участвовали и побеждали в олимпиадах по математике, физике, программированию
• Работали с архитектурой аналитических данных продукта: собирали витрины, понимаете, что такое ETL
• Разрабатывали и внедряли новые метрики
• Знаете основы машинного обучения