Старший разработчик в ETL-платформу Нирвана

Привет! Я Дима Тихонов, руковожу службой разработки Нирваны — платформы для выполнения произвольных вычислений и процессов. Мы даём сотрудникам Яндекса инструменты для быстрого и эффективного запуска процессов, например анализа данных или обучения моделей. Ищем в команду Java-разработчика, который будет помогать нам в этом деле.

Нирвана — облачная платформа для выполнения произвольных вычислений и процессов. Платформой активно пользуются аналитики, разработчики, ML-инженеры и другие сотрудники.

Один из ключевых компонентов платформы — Job Processor. Это сервис планирования и запуска задач на вычислительных кластерах Яндекса. Он обеспечивает быстрый и надёжный запуск произвольного контейнера в облаке, при этом пользовательский код выполняется локально, а сервис отвечает за подготовку окружения, доставку входных и выходных данных, отливку логов и другие инфраструктурные вопросы.

Разработка инструментов для анализа потребления ресурсов
В условиях высоких цен на железо важно эффективно его использовать. Мы хотим, чтобы пользователи могли легко видеть, какие их процессы потребляют больше всего ресурсов, для этого нужно научиться собирать подробную статистику, строить на её основе агрегаты и визуализировать их в удобной форме.

Оптимизация времени запуска задач
Чтобы накладные расходы на запуск пользовательского кода занимали не десятки секунд, а доли секунды, мы хотим научиться поднимать пул прогретых контейнеров и запускать задачи в них без траты времени на подготовку окружения. При этом важно динамически менять размер этого пула в зависимости от нагрузки, а также давать пользователям контроль над конфигурацией, чтобы находить баланс между скоростью запуска и эффективной утилизацией ресурсов.

Запуск контейнеров на новых видах железа
Мы планируем подключать новые вычислительные мощности, которые могут отличаться по характеристикам. Нужно будет адаптировать сервис, чтобы он корректно и эффективно работал в новых окружениях.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

• Имеете опыт промышленной разработки на Java
• Знакомы с распределёнными системами и решениями, обеспечивающими высокую доступность
• Знаете основы работы в Unix-системах и умеете использовать инструменты для диагностики и анализа сервисов
• Готовы участвовать в эксплуатации сервиса: раскатывать эксперименты, собирать и анализировать статистику, отлаживать нетривиальные ошибки в проде

• Работали с высоконагруженными сервисами
• Умеете быстро разбираться в незнакомом коде и новых технологиях

Подписывайтесь на телеграм-канал Yandex Infrastructure, чтобы узнать больше о том, как мы делаем внутреннюю инфраструктуру Яндекса.