Как мы обеспечили стабильность при кратном росте пользователей

Продукт про то, как быть ближе к ребенку, оставаться спокойным за его безопасность, при этом не ограничивая его самостоятельность.

DataOps
Big Data

Какие были задачи?

  1. Нестабильная работа существующей платформы.
  2. Нехватка производительности для увеличившегося потока клиентов.
  3. Необходимость масштабирования из-за переменной пользовательской нагрузки.

Решение

После анализа потока данных, характера нагрузки и моделей работы с данными мы сделали ТЗ на новую инфраструктуру на базе платформы обработки данных

Были использованы модули ETL, MPP DB и Analytics DB из состава платформы
ITS DPP.

Команда проекта

Менеджер проекта
2 DataOps инженера
Data инженер
DevOps инженер

Применённые технологии

Обработка потоков данных
Apache Spark
Apache Spark
Apache Kafka
Apache Kafka
Хранилище данных
Greenplum
Greenplum
СУБД
ClickHouse
ClickHouse

Результат

В ходе выполнения ТЗ была развернута платформа ITS DPP с функциональностью быстрого масштабирования. Инженеры ITSumma настроили CI/CD пайплайны для быстрой доставки изменений в ETL обработчики данных. После этого в ходе совместной работы была выполнена адаптация уже существующих пайплайнов данных под платформу.

Другие работы по проекту

  1. Cделали тест нагрузки, посмотрели, как справится сервис с наплывом клиентов;
  2. Автоматизировали вопросы эксплуатации — обновление частей сервиса для добавление новых актуальных функций;
  3. Выставили лимиты на запросы, чтобы приложения корректно распределяли нагрузку по Kubernetes кластеру;
  4. Проверили на соответствие требованиям 152 ФЗ.
Готовы обсудить проект?

Ответим на заявку в ближайшие 24 часа. А еще мы можем проконсультировать вас по телефону +7 800 555-91-99, электронной почте info@itsumma.ru или в Telegram-чате.

Свяжитесь со мной здесь
Свяжитесь со мной здесь
❗️Имя не может быть пустым
❗️Телефон не может быть пустым
❗️Email не может быть пустым