Разработчик на C++ в группу потоковой обработки данных рекламной сети

Привет! Я Михаил, руковожу группой статистики баннерной системы. Мы помогаем рекламодателям анализировать эффективность их рекламных кампаний, а партнёрам Яндекса — работу их рекламных площадок. Внутренним потребителям даём возможность следить за качеством работы всей рекламной системы. Ищем разработчика на С++, который усилит нашу команду.

Наша команда разрабатывает платформу потоковой обработки данных рекламной сети Яндекса. Она основана на BigRT и YTsaurus. Мы доставляем данные с задержкой меньше минуты с гарантией exactly-once, обрабатываем 2 млн событий, или 5 ГБ в секунду, c точностью, которой доверяют. Это необходимо, чтобы выдерживать постоянно растущую нагрузку, быть отказоустойчивыми и повышать качество и скорость обработки данных.

Перед нами стоят технические вызовы:

• Перейти на более современный подход в потоковой обработке данных, разрабатываемый внутри компании
• Сделать добавление новых данных простым и удобным
• Перейти с ClickHouse на YTsaurus dynamic tables для наших задач
• Стать более надёжными и улучшить производительность
• Распространить технологии в продуктовые команды

Унификация технологий
Проверенные нами технологии надо сделать простыми в использовании, чтобы продуктовые команды могли использовать их у себя.

Современная потоковая обработка
Вы переведёте пайплайны на новый подход к стриминговой обработке данных, который разрабатывают внутри компании.

Развитие продукта
Рекламные продукты развиваются с огромной скоростью, и наша задача — успевать предоставлять рекламодателям аналитику и отчёты, за которыми стоят миллиарды событий.

Упрощение добавления новых данных
Нужно сделать так, чтобы добавление нового поля в систему происходило просто и предсказуемо.

Обеспечение надёжности и производительности
Система должна незаметно для пользователя переживать отключение дата-центра, успевать обрабатывать накопленный лаг в случае аварий — и всё это несмотря на усложнение архитектуры, внедрение фич и новых данных.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

• Хотите писать на C++
• Знаете классические алгоритмы и структуры данных
• Знакомы с Linux

• Писали код с использованием асинхронной парадигмы
• Разрабатывали сетевые приложения
• Готовы руководить небольшой группой разработчиков
• Умеете программировать на Python
• Имеете опыт в потоковой обработке данных