ML-разработчик в команду голосовой активации Алисы

Привет! Наша команда занимается задачей нахождения активационной фразы («Алиса»/«Яндекс») в потоке речи. Для этого мы обучаем маленькие нейронные сети (порядка 1 млн параметров) и оптимизируем их для работы на embedded-устройствах. В рамках этой задачи мы недавно запустились даже в наушниках.

Но одной активацией по имени мы не ограничиваемся. Мы делаем Алису умнее и учим её понимать, когда к ней обращаются, даже не называя по имени, — например, запустили быстрые команды.

Параллельно тренируем большие модели размером в сотни миллионов параметров, чтобы улучшать модели на устройствах, и решаем задачу выбора правильной колонки, когда в доме их несколько и активируются сразу все.

Мы ищем DL-разработчика, который уже работал с аудио или готов погрузиться в эту тему, чтобы вместе исследовать базовое качество наших моделей. Цель — сделать Алису умнее и естественнее за счёт голосовой активации, чтобы голосовое взаимодействие было максимально человечным и бесшовным.

Благодаря большому количеству GPU и CPU мы можем проводить масштабные эксперименты, чтобы добиваться максимального качества распознавания. У вас будет возможность влиять на продукт с многомиллионной аудиторией.

Улучшение качества текущих моделей голосовой активации
Вы будете работать над задачами по улучшению текущих моделей голосовой активации, чтобы они пропускали всё меньше ключевых фраз и не активировались, когда этого не требуется. Для этого нужно будет проверять и внедрять разработки из актуальных научных статей, а также придумывать собственные подходы.

Оптимизация моделей для работы на embedded-устройствах
Чтобы модель могла быстро работать на пользовательском устройстве, она должна быть достаточно маленькой и оптимизированной. Оптимизации могут касаться нетривиальных методов обучения и инференса.

Создание моделей для новых устройств и обучение их новым языкам и фразам
Помимо улучшения уже существующих моделей и устройств, мы активно развиваем новые сценарии голосовой активации: создаём модели для новых устройств и адаптируем пайплайны под новые языки. Вам предстоит заниматься внедрением таких решений целиком — от идеи до продукта.

Больше об ML в Яндексе — в канале Yandex for ML

• Работали с DL (например, связанным с CV или NLP)
• Умеете писать на Python и C++
• Знаете PyTorch
• Владеете английским на уровне, необходимом для чтения научных статей

• Знаете инфраструктуру Яндекса: YT, YQL, Valhalla, Нирвана
• Работали со звуком