Python-разработчик в Yandex DataLens

Яндекс·Russia·Удалённо, Офис·5 мес. назад

DataLens — облачный сервис визуализации и анализа данных. Он широко используется как внутри Яндекса, так и за его пределами: в составе платформы Yandex Cloud.

Сервис позволяет подключаться ко множеству различных источников данных, строит поверх них абстракции в виде датасетов и предоставляет инструменты для отображения этих данных в нужном виде. На входе — исходные данные, на выходе — красивые и удобные дашборды.

Ядро сервиса разрабатывается в опенсорсе с открытой лицензией.

Бэкенд DataLens решает следующие задачи:

Работа со множеством источников данных (БД, внешние API, онлайн-таблицы, загружаемые файлы) и предоставление единого интерфейса для получения разнородных данных
Формирование сложных SQL-запросов на лету: мы предоставляем простой для использования язык описания формул, который за кулисами преобразуется в оптимальные запросы с учётом особенностей конкретного источника данных
Фоновая обработка данных из файлов и онлайн-таблиц с использованием очередей задач
Обеспечение безопасности данных и инфраструктуры: отдельные операции изолируются в специализированных средах исполнения

Чтобы больше узнать о сервисе, вы можете посмотреть краткий проморолик или более подробное демо.

Мы ищем опытных Python-разработчиков. Ждём и тех, кто отлично владеет другими языками и готов перейти на Python. У нас живой и дружный коллектив, мы вместе формулируем цели и принимаем решения. Присоединяйтесь!

Строить гибкий API для решения задач анализа данных, оптимизировать построение модели данных
Датасеты — это способ объединить большое количество данных в модель, которая независимо от источника данных позволяет строить запросы к нему благодаря универсальному API. Датасеты должны быстро работать с любым количеством полей: это достигается различными оптимизациями и несколькими уровнями кеширования. Помимо развития API датасетов, мы также наполняем сервис и другими возможностями, улучшающими пользовательский опыт (это, к примеру, экспорты, алертинг, публичный API).

Разрабатывать коннекторы для подключения к новым источникам
Мы постоянно увеличиваем набор доступных коннекторов к источникам данных, чтобы покрывать больше сценариев аналитики. Задача подключения каждого нового источника по-своему уникальна: необходимо не только разобраться в тонкостях его работы, но и продумать взаимодействие с коннектором с точки зрения пользователя.

Работать над масштабированием, стабильностью и скоростью работы сервиса
Наша команда отвечает за все этапы жизни сервиса, от проектирования и разработки до развёртывания и поддержания работоспособности всех окружений. Мы сами обслуживаем как DataLens внутри Яндекса — одну из крупнейших инсталляций среди подобных инструментов, так и DataLens в Yandex Cloud — крупнейший облачный сервис аналитики и визуализации в России. Оптимизация пайплайнов CI/CD, улучшение инструментов мониторинга, развитие средств диагностики без прямого доступа к инсталляции и данным пользователей — в наших планах всегда находится место для актуальных инфраструктурных задач.

Развивать ядро сервиса в опенсорсе, чтобы открыть новые возможности для его расширения
Чтобы каждый желающий мог добавить в сервис новый коннектор или иную функциональность, собрать и настроить систему под свои требования, необходимо поддерживать и развивать модульную архитектуру кода: выделять общие части, предоставляя точки для расширения.

Больше о бэкенде в Яндексе — в канале Yandex for Backend