Backend/Platform Developer в команду LLM Platform
LLM Platform — это единая точка входа для работы с LLM внутри Яндекса.
Мы строим платформу, которая предоставляет унифицированный доступ к различным языковым моделям: и к собственным, и к опенсорсным, развёрнутым во внутреннем контуре. Платформа помогает командам безопасно, прозрачно и эффективно использовать LLM в продуктах, внутренних сервисах и бизнес-процессах.
Каждый день платформой пользуются десятки тысяч сотрудников и сотни внутренних сервисов — поэтому для нас важны надёжность, масштабируемость, контроль ресурсов, безопасность данных и удобство интеграции.
LLM Platform решает несколько ключевых задач:
- Предоставляет единый API для работы с любыми LLM
- Управляет справедливым распределением ресурсов между пользователями, командами и сервисами
- Собирает аналитику по запросам, токенам, моделям, пользователям и бизнес-юнитам
- Поддерживает единый конфиг с возможностью подключения собственных моделей
- Помогает безопасно использовать внутренние данные компании при работе с публичными моделями
Позиция подойдёт разработчику, которому интересно строить не просто продуктовые фичи, а внутреннюю платформу масштаба крупной компании.
Здесь много задач на стыке backend-разработки, платформенной инженерии, LLM-инфраструктуры, безопасности, аналитики и управления ресурсами. Понадобится принимать инженерные решения, влияющие на стоимость, надёжность и безопасность использования LLM.
Разработка системы управления квотами
Эта система должна позволять:
- Задавать и контролировать квоты на разные типы запросов
- Управлять лимитами на уровне пользователей, команд, сервисов, namespace и бизнес-юнитов
- Предоставлять аналитику менеджерам и владельцам продуктов
- Реализовывать биллинг и cost allocation по бизнес-юнитам
- Предоставлять супервайзерам интерфейс для управления квотами внутри своих namespace
Интеграции с LLM-провайдерами и внутренними моделями
Нужно развивать единый API для работы с разными моделями и провайдерами:
- Подключать LLM-провайдеров и собственные инференсы
- Унифицировать форматы запросов и ответов
- Разрабатывать механизмы маршрутизации запросов между моделями
- Учитывать стоимость, доступность, latency, лимиты и требования безопасности
- Поддерживать конфигурацию моделей, namespace, теги и политики доступа
Безопасное использование данных
LLM-платформа должна помогать командам использовать LLM без риска утечки чувствительной информации. Поэтому вам предстоит:
- Проектировать и реализовывать механизмы безопасной передачи данных в публичные модели
- Разрабатывать фильтры, политики и алгоритмы обработки запросов
- Участвовать в проектировании решений для защиты внутренних данных
- Интегрироваться с внутренними системами контроля, аудита и доступа
Сбор и извлечение данных из веб-источников
Также вы можете выполнять задачи, связанные с получением структурированных данных из внешних веб-источников:
- Разрабатывать системы, чтобы автоматизировать извлечение данных с сайтов
- Анализировать HTML-, JavaScript-приложения, сетевые запросы и API
- Строить надёжные пайплайны сбора, нормализации и обработки данных
- Разрабатывать инструменты для работы с динамическими веб-приложениями
Больше о бэкенде в Яндексе — в канале Yandex for Backend
- Занимались backend-разработкой на Go на промышленном уровне
- Понимаете принципы построения распределённых систем
- Проектировали API и интеграции между сервисами
- Умеете работать с высоконагруженными сервисами, очередями, базами данных и кешами
- Понимаете observability: метрики, логи, трассировка, алерты
- Аккуратны в вопросах безопасности данных и разграничения доступа
- Готовы разбираться в предметной области LLM, токенов, моделей, провайдеров и лимитов
- Работали с LLM API и AI-инфраструктурой
- Разрабатывали платформенные сервисы
- Строили quota management, rate limiting, billing или cost allocation систем
- Имеете опыт web scraping / web crawling / data extraction
- Анализировали веб-приложения, API и сетевой трафик
