Разработчик в команду потоковых и федеративных запросов YDB
YDB — это распределённая отказоустойчивая реляционная база данных с открытым исходным кодом, которая сочетает высокую доступность, масштабируемость и производительность. Вместе с сопутствующим стеком serverless-технологий YDB позволяет организовать систему хранения и обработки данных для самых сложных и требовательных приложений.
Также YDB — это платформа для создания инфраструктурных компонентов. Мы предлагаем пользователям не только надёжные транзакции поверх таблиц, но и готовые решения на основе самого движка: персистентные очереди, федеративные запросы, сетевые диски для виртуальных машин (Yandex Network Block Store) и другое.
YDB используется в Маркете, Такси, Банке, Алисе и других сервисах Яндекса. Мы уже умеем обрабатывать миллионы запросов в секунду и надёжно хранить петабайты данных. На базе YDB построены решения для доставки платёжных данных в биллинг Яндекса и хранения логов в Yandex Cloud.
Наша команда разрабатывает облачный сервис Yandex Query и движок федеративных запросов в YDB. Yandex Query предназначен для анализа данных в Object Storage и потоковых данных из шины Yandex Data Streams с помощью SQL-запросов. Ближайшие аналоги нашего сервиса: AWS Athena, Microsoft Azure, Apache Flink, Google Cloud Dataflow.
Отличительные характеристики Yandex Query:
- федеративность — возможность работы с разными типами источников в одном запросе;
- гибридность — совмещённый синтаксис для стриминговых и батч-запросов;
- serverless — возможность работы с данными без предварительного заказа и выделения вычислительных мощностей;
- масштабируемость — один запрос может выполняться на нескольких узлах кластера;
- отказоустойчивость — отказ отдельных узлов и даже дата-центров не повлияет на работу пользователей.
- Разрабатывать core-engine-процессинг
- Продумывать безопасность работы пользовательского кода в облачном контуре
- Отвечать за интеграцию с разнородными хранилищами данных
- Решать сложные задачи в области распределённых систем и обработки данных в реальном времени
- Пишете на С++ более трех лет
- Знаете базовые алгоритмы и структуры данных
- Понимаете парадигму многопоточности, знакомы с основными подходами, проблемами и ограничениями в этой области
- Работали с системами виртуализации и контейнеризации (k8s), с высоконагруженными распределёнными системами или другими облачными или serverless-платформами
