ITS Data Processing Platform

Услуги

Big Data

Платформа для анализа, хранения и обработки больших данных на базе ПО с открытым исходным кодом.

ITS DPP

Позволяет осуществлять сбор, обработку и хранение всех данных предприятия в рамках единой платформы, построенной на базе ПО с открытым исходным кодом:

ITS DPP будет полезна, если необходимо:

Построить систему хранения, обработки
и анализа данных с нуля

Создать витрины данных, организовать процессы
обработки данных, реорганизовать хранение данных

Быстро развернуть инфраструктуру для хранения
и анализа данных

Сократить издержки путём оптимизации инфраструктуры и избегая при этом ресурсных потерь.

Что с её помощью можно сделать

Создать Data Lake или Data Warehouse для хранения структурированных и неструктурированных данных

Организовать контроль и доставку кода заданий для обработчиков данных

Настроить дашборды с разными уровнями доступа для различных подразделений

Организовать сбор данных из разнородных источников в единое хранилище

Настроить ETL/ELT преобразования

Настроить потоковую и пакетную обработку данных

Организовать проверку качества данных

Преимущества нашего решения

Используем подхода IaC, что обеспечивает оперативное внедрение и установку, включая развёртывание в закрытом контуре.

Платформа полностью сконфигурирована и готова к работе сразу после установки. Связи между компонентами модулей протестированы и отлажены.

В составе платформы CI/CD-пайплайны, обеспечивающие бесшовную доставку кода.

Платформа построена на базе opensource-компонентов, прошедших тщательное тестирование.

В состав уже включены все необходимые коннекторы нашей разработки.

Состав платформы обработки данных ITS DPP

Назначение модулей

Apache Kafka

ITS DPP.MW — реализация процессов сбора и пакетной обработки данных.

Apache Spark

Apache Airflow

ITS DPP.ETL — преобразования, пакетная и потоковая обработка, сбор и хранение необработанных данных.

Greenplum

ITS DPP.MPP DB — хранение структурированных данных в кластере Greenplum.

Apache Hadoop

ITS DPP.DataLake — реализация хранилища для больших объемов неструктурированных данных.

Apache Superset Redash

ITS DPP.Analytics DB — хранение структурированных данных в кластере ClickHouse, формирование витрин данных.

Prometheus

ITS DPP.DSM — мониторинг и управление компонентами платформы. Поставляется бесплатно с любым набором модулей.

Модули платформы ITS DPP

Полная конфигурация платформы включает следующие модули:

ITS DPP.ETL

ITS DPP.MPP DB

ITS DPP.Analytics DB

ITS DPP.MW

ITS DPP.DataLake

ITS DPP.DSM

Эта конфигурация* адресована для корпоративных заказчиков, позволит решить задачи обработки и анализа данных «под ключ».

Она предоставляет возможности пакетной и потоковой обработки, хранения структурированных и неструктурированных данных и построения витрин данных и аналитики.

* При необходимости вы можете приобрести только отдельные модули.

Облегчённая конфигурация состоит из следующих модулей:

ITS DPP.MW (Managed Workflows)

ITS DPP.Analytics DB

Эта версия ориентирована на пакетную обработку и небольшие объемы данных. Предоставляет все необходимые базовые средства для работы с большими данными и потребляет меньше ресурсов по сравнению с полной конфигурацией.

ITS DPP.ETL — на базе Apache Kafka, Apache Spark

Назначение:

Реализация полной цепочки ETL- преобразований в рамках потоковой обработки данных, а также предоставление инструментов сбора данных.

Решаемые задачи:

Потоковая передача данных в режиме реального времени;
Организация корпоративной шины интерактивного обмена данными;
(Data pipeline) между распределенными приложениями;
Мониторинг и управление данными (рабочими процессами);
Хранение неструктурированных данных.

ITS DPP.MPP DB — на базе Greenplum

Назначение:

Хранение структурированных данных в кластере Greenplum, который обеспечивает отказоустойчивость и масштабируемость.

Решаемые задачи:

Обеспечение отказоустойчивого и безопасного хранения больших объемов структурированных данных;
Обработка больших объёмов (в сотни терабайт) структурированных и слабоструктурированных данных в режиме реального времени (для систем предиктивной аналитики, озёр и хранилищ данных, организации регулярной отчетности).

ITS DPP.Analytics DB — на базе Clickhouse и Superset/Redash

Назначение:

Хранение структурированных данных с возможностью формировать витрины данных. При необходимости в состав модуля может быть включен бесплатный Add-On c системами аналитики SuperSet/Redash.

Решаемые задачи:

Анализ данных;
Хранение и сортировка данных;
Исследование, нарезка и визуализация данных;
Генерация аналитических отчетов по большим данным в режиме реального времени.

ITS DPP.DataLake — на базе Apache Hadoop

Назначение:

Реализация хранилища для больших объемов неструктурированных данных, в котором кластерная структура обеспечивает отказоустойчивость и масштабируемость.

Решаемые задачи:

Хранение и обработка больших объемов неструктурированных данных;
Обработка и хранение данных любых типов и форматов;
Работа с данными в хранилище при помощи SQL-запросов.

ITS DPP.DSM — Data Service Manager

Назначение:

Мониторинг и управление компонентами платформы. Поставляется бесплатно с любым набором модулей.

Решаемые задачи:

Установка и настройка модулей платформы ITS DPP;
Проектирование и управление ролями пользователей;
Инвентаризация подключенных компонентов;
Мониторинг состояния подключенных модулей;
Настройка уведомлений на превышение пороговых значений метриками платформы.

ITS DPP.MW — на базе Apache Airflow

Назначение:

Реализация полной цепочки ETL- преобразований, включая пакетную и потоковую обработку данных, а также средства сбора данных

Решаемые задачи:

Графический интерфейс управления задачами;
Поддержка DAG;
Подключение неограниченного количества источников данных;
Работа с данными любых типов и форматов;
Подключение большого количества сред выполнения;
Возможность масштабирования.

Матрица соответствия зарубежным продуктам

Moдули ITS DPP	Задачи	Зарубежное заменяемое решение
ITS DPP.MW	ELT-оркестратор для пакетной обработки данных.	Luigi, Rundeck
ITS DPP.ELT	Ширина данных. Сбор и потоковая обработка данных.	Confluent Kafka, IBM Streams, SAS Event Streams, Processing, Azure Stream Analytics, TIBCO, Streaming, Cloudera DataFlow
ITS DPP.MPP DB	OLAP / RAC / Exadata (DWH)	AWS Redshift, GCE BigQuery
ITS DPP.Analytics DB	СУБД для анализа временных рядов. Витрины данных. In-memory RDBSM.	Amazon Timestream, HCL Informix, InfluxDB, Enterprise, Kdb+, Taradata SAP HANA, Cassandra, Scylla
ITS DPP.DataLake	Хранение документов, JSON. Экосистема Hadoop. Реляционная облачная СУБД.	MongoDB, DynamoDB, Продукты Cloudera / Hortonworks, Azure SQL, Google Big Query
ITS DPP.DSM	Панель управления платформой обработки данных.	Продукты Cloudera / Hortonworks

Лицензирование

Платформа и отдельные модули продаются как лицензия на срок 1 или 3 года. Техническую поддержку можно приобрести на 1 или 3 года.

Лицензия и техническая поддержка приобретаются на каждое физическое ядро сервера или виртуальной машины, на которых развернута платформа или модуль. При первой покупке в состав лицензии включена бесплатная техническая поддержка в течение одного года с момента приобретения лицензии.

Жизненный цикл версии модуля

	Активная разработка	Поддержка	Окончание поддержки
Документация по работе платформы
Диагностика и устранение сбоев в работе компонентов платформы
Диагностика и устранение неэффективностей в работе компонентов платформы
Осуществление консультаций по работе платформы
Доступ к минорным обновлениям
Помощь в установке обновлений

Состав и SLA технической поддержки

Состав

Выявление и устранение сбоев в работе компонентов платформы.
Диагностика и внесение изменений для эффективной работы компонентов платформы.
Поддержка при внедрении обновлений.
Консультирование пользователей по вопросам экспулатации/использования компонентов платформы.
Поддержка при разворачивании платформы в различных окружениях, в т.ч. нестандартных.
Консультирование по подготовке инфрастуктуры для развёртывания платформы.
Разработка новой функциональности по запросу.
Выявление и утранение сбоев в работе компонентов платформы.

SLA

Формат гарантийной поддержки	8*5
Каналы коммуникаций	Электронная почта, telegram-чат, тикет-система
SLA на реагирование	1 час
Восстановление работы системы в случае полной потери функциональности	2 рабочих дня
Восстановление работы системы в случае частичной потери функциональности	5 рабочих дней
Другие вопросы по использованию продукта	10 рабочих дней

DataOps-сопровождение

В рамках DataOps-сопровождения от ITSumma вы сможете
решить следующие задачи:

Подключить источники данных к платформе.
Разработать ETL-обработчики.
Построить хранилища структурированных (Data Warehouse) и неструктурированных данных (Data Lake) с их последующим сопровождением.
Настроить инструменты аналитики и визуализации данных, BI-системы.

Настроить, автоматизировать и масштабировать обработку потоков данных.
Настроить CI/CD-конвейеры и внедрить DevOps-процессы для бесперебойной работы серверов и инфраструктуры.
Анализировать работу платформы и разработать сценарии её оптимизации.

Услуга DataOps-сопровождения не входит в состав лицензии, но доступна для использования любому покупателю платформы ITS DPP.

Технические требования

Для разворачивания в высокодоступной редакции необходимо не менее 9 серверов суммарно с 80 ядрами CPU, 396 Гб оперативной памяти и достаточным объемом хранилища данных.

Варианты развертывания

On-premise
Виртуальные сервера
Air-gapped environment
Облачные провайдеры (Яндекс.Облако, Cloud, VK Cloud)

Операционные системы

Ubuntu
CentOS
Astra Linux
РЕД ОС

Совместимые платформы

Deckhouse
OpenShift

Реализованные проекты

Проект № 1:

Увеличение производительности системы сбора данных с учетом GPS и аналитики. Findmykids.org

Задачи:

Создание инфраструктуры для приема, хранения, обработки и анализа данных;
Наличие в системе поддержки postgis;
Возможность адаптации текущих пайплайнов обработки данных;
Возможность быстрого масштабирования под потребности проекта;
Создание CI/CD пайплайнов для приложений, работающих в инфраструктуре.

Решение:

Использовался следующий набор модулей

ITS DPP.ETL
ITS DPP.MPP DB
ITS DPP.Analytics DB

Дополнительные работы

Интеграция платформы в текущую инфраструктуру клиента
Адаптация текущих ETL процессов

Проект № 2:

Работа с большими данными с учетом геоданных. Mos.ru

Задачи:

Создание инфраструктуры для приема, хранения, обработки и анализа данных;
Наличие в системе поддержки postgis;
Возможность адаптации текущих пайплайнов обработки данных;
Возможность быстрого масштабирования под потребности проекта;
Создание CI/CD пайплайнов для приложений, работающих в инфраструктуре.

Решение:

Использовался следующий набор модулей

ITS DPP.ETL
ITS DPP.MPP DB
ITS DPP.Analytics DB

Дополнительные работы

Интеграция платформы в текущую инфраструктуру клиента
Адаптация текущих ETL процессов

Примеры внедрения

Проект № 3:

Старт MVP для обработки и хранения данных IoT. Обезличен

Задачи:

Создание инфраструктуры для приема, хранения, обработки данных и анализа данных с IoT-устройств;
Наличие тестовых примеров пайплайнов для обработки данных;
Создание CI/CD-пайплайнов для приложений, работающих в инфраструктуре.

Решение:

Использовался следующий набор модулей

ITS DPP.ETL
ITS DPP.MPP DB
ITS DPP.Analytics DB

Дополнительные работы

Интеграция платформы в текущую инфраструктуру клиента
Адаптация текущих ETL процессов

Проект № 4:

Обработка и хранение данных с IoT. Обезличен

Задачи:

Создание инфраструктуры для приема, хранения, обработки данных и анализа данных с IoT-устройств;
Создание пайплайнов для обработки данных;
Внедрение IaC;
Создание CI/CD пайплайнов для приложений, работающих в инфраструктуре.

Решение:

Использовался следующий набор модулей

ITS DPP.ETL
ITS DPP.MPP DB

Дополнительные работы

Интеграция платформы в текущую инфраструктуру клиента
Адаптация текущих ETL процессов

Проект № 5:

Цифровизация бизнес-процессов — внедрение средств аналитики. Обезличен

Задачи:

Создание инфраструктуры для бизнес-аналитики;
Подключение источников данных к инструментам бизнес-аналитики;
Формирование запросов и дашбордов.

Решение:

Использовался следующий набор модулей

ITS DPP.Analytics DB

Дополнительные работы

Интеграция платформы в текущую инфраструктуру клиента
Адаптация текущих ETL процессов

Технологические партнеры

Остались вопросы или хотите что-то уточнить?

Ответим на заявку в ближайшие 24 часа. А еще мы можем проконсультировать вас по телефону +7 800 555-91-99, электронной почте info@itsumma.ru или в Telegram-чате.