DataOps
Big Data

Как мы обеспечили стабильность при росте пользователей

Продукт про то, как быть ближе к ребенку, оставаться спокойным за его безопасность, при этом не ограничивая его самостоятельность.

Какие были задачи?

  1. Нестабильная работа существующей платформы.
  2. Нехватка производительности для увеличившегося потока клиентов.
  3. Необходимость масштабирования из-за переменной пользовательской нагрузки.

Решение

После анализа потока данных, характера нагрузки и моделей работы с данными мы сделали ТЗ на новую инфраструктуру на базе платформы обработки данных

Были использованы модули ETL, MPP DB и Analytics DB из состава платформы
ITS DPP.

Команда проекта

Менеджер проекта
2 DataOps инженера
Data инженер
DevOps инженер

Применённые технологии

Обработка потоков данных
Apache Spark
Apache Spark
Apache Kafka
Apache Kafka
Хранилище данных
Greenplum
Greenplum
СУБД
ClickHouse
ClickHouse

Результат

В ходе выполнения ТЗ была развернута платформа ITS DPP с функциональностью быстрого масштабирования. Инженеры ITSumma настроили CI/CD пайплайны для быстрой доставки изменений в ETL обработчики данных. После этого в ходе совместной работы была выполнена адаптация уже существующих пайплайнов данных под платформу.

Другие работы по проекту

  1. Cделали тест нагрузки, посмотрели, как справится сервис с наплывом клиентов;
  2. Автоматизировали вопросы эксплуатации — обновление частей сервиса для добавление новых актуальных функций;
  3. Выставили лимиты на запросы, чтобы приложения корректно распределяли нагрузку по Kubernetes кластеру;
  4. Проверили на соответствие требованиям 152 ФЗ.
Готовы обсудить проект?

Ответим на заявку в ближайшие 24 часа. А еще мы можем проконсультировать вас по телефону +7 800 555-91-99, электронной почте info@itsumma.ru или в Telegram-чате.

Свяжитесь со мной здесь
Свяжитесь со мной здесь
❗️Имя не может быть пустым
❗️Телефон не может быть пустым
❗️Email не может быть пустым