ITS Data Processing Platform
Платформа для анализа, хранения и обработки больших данных на базе ПО с открытым исходным кодом.
ITS DPP
Позволяет осуществлять сбор, обработку и хранение всех данных предприятия в рамках единой платформы, построенной на базе ПО с открытым исходным кодом:
ITS DPP будет полезна, если необходимо:
Построить систему хранения, обработки и анализа данных с нуля
Создать витрины данных, организовать процессы обработки данных, реорганизовать хранение данных
Быстро развернуть инфраструктуру для хранения и анализа данных
Сократить издержки путём оптимизации инфраструктуры и избегая при этом ресурсных потерь
Что с её помощью можно сделать
Преимущества нашего решения
Состав платформы обработки данных ITS DPP
Назначение модулей
ITS DPP.MW — реализация процессов сбора и пакетной обработки данных.
ITS DPP.ETL — преобразования, пакетная и потоковая обработка, сбор и хранение необработанных данных.
ITS DPP.MPP DB — хранение структурированных данных в кластере Greenplum.
ITS DPP.DataLake — реализация хранилища для больших объемов неструктурированных данных.
ITS DPP.Analytics DB — хранение структурированных данных в кластере ClickHouse, формирование витрин данных.
TS DPP.DSM — мониторинг и управление компонентами платформы. Поставляется бесплатно с любым набором модулей.
Модули платформы ITS DPP
Модули
- ITS DPP.ETL
- ITS DPP.MPP DB
- ITS DPP.Analytics DB
- ITS DPP.MW
- ITS DPP.DataLake
- ITS DPP.DSM
Эта конфигурация* адресована для корпоративных заказчиков, позволит решить задачи обработки и анализа данных «под ключ».
Она предоставляет возможности пакетной и потоковой обработки, хранения структурированных и неструктурированных данных и построения витрин данных и аналитики.
*При необходимости вы можете приобрести только отдельные модули.
Назначение
Реализация полной цепочки ETL — преобразований в рамках потоковой обработки данных, а также предоставление инструментов сбора данных.
Решаемые задачи
- Потоковая передача данных в режиме реального времени;
- Организация корпоративной шины интерактивного обмена данными;
- (Data pipeline) между распределенными приложениями;
- Мониторинг и управление данными (рабочими процессами);
- Хранение неструктурированных данных.
Матрица соответствия зарубежным продуктам
| Moдули ITS DPP | Задачи | Зарубежное заменяемое решение |
|---|---|---|
| ITS DPP.MW | ELT-оркестратор для пакетной обработки данных. | Luigi, Rundeck |
| ITS DPP.ELT | Ширина данных. Сбор и потоковая обработка данных. | Confluent Kafka, IBM Streams, SAS Event Streams, Processing, Azure Stream Analytics, TIBCO, Streaming, Cloudera DataFlow |
| ITS DPP.MPP DB | OLAP / RAC / Exadata (DWH) | AWS Redshift, GCE BigQuery |
| AWS Redshift, GCE BigQuery | СУБД для анализа временных рядов. Витрины данных. In-memory RDBSM. | Amazon Timestream, HCL Informix, InfluxDB, Enterprise, Kdb+, Taradata SAP HANA, Cassandra, Scylla |
| ITS DPP.DataLake | Хранение документов, JSON. Экосистема Hadoop. Реляционная облачная СУБД. | MongoDB, DynamoDB, Продукты Cloudera / Hortonworks, Azure SQL, Google Big Query |
| ITS DPP.DSM | Панель управления платформой обработки данных. | Продукты Cloudera / Hortonworks |
Платформа и отдельные модули продаются как лицензия на срок 1 или 3 года. Техническую поддержку можно приобрести на 1 или 3 года.
Лицензия и техническая поддержка приобретаются на каждое физическое ядро сервера или виртуальной машины, на которых развернута платформа или модуль. При первой покупке в состав лицензии включена бесплатная техническая поддержка в течение одного года с момента приобретения лицензии.
Стоимость рассчитывается индивидуально под каждого заказчика, в зависимости от задач и объема данных.
Приобрести лицензию можно через наших партнеров, для получения контактов - обращаться в отдел продаж ITSumma.
Жизненный цикл версии модуля
| Активная разработка | Поддержка | Окончание поддержки | |
|---|---|---|---|
| Документация по работе платформы | + | + | + |
| Диагностика и устранение сбоев в работе компонентов платформы | + | + | - |
| Диагностика и устранение неэффективностей в работе компонентов платформы | + | + | - |
| Осуществление консультаций по работе платформы | + | - | - |
| Доступ к минорным обновлениям | + | - | - |
| Помощь в установке обновлений | + | - | - |
- Выявление и устранение сбоев в работе компонентов платформы.
- Диагностика и внесение изменений для эффективной работы компонентов платформы.
- Поддержка при внедрении обновлений.
- Консультирование пользователей по вопросам экспулатации/использования компонентов платформы.
- Поддержка при разворачивании платформы в различных окружениях, в т.ч. нестандартных.
- Консультирование по подготовке инфрастуктуры для развёртывания платформы.
- Разработка новой функциональности по запросу.
- Выявление и утранение сбоев в работе компонентов платформы.
SLA технической поддержки
| Формат гарантийной поддержки | 8*5 |
|---|---|
| Каналы коммуникаций | Электронная почта, telegram-чат, тикет-система |
| SLA на реагирование | 1 час |
| Восстановление работы системы в случае полной потери функциональности | 2 рабочих дня |
| Восстановление работы системы в случае частичной потери функциональности | 5 рабочих дней |
| Другие вопросы по использованию продукта | 10 рабочих дней |
DataOps-сопровождение
В рамках DataOps-сопровождения от ITSumma вы сможете решить следующие задачи:
Услуга DataOps-сопровождения не входит в состав лицензии, но доступна для использования любому покупателю платформы ITS DPP.
Технические требования
Для разворачивания в высокодоступной редакции необходимо не менее 9 серверов суммарно с 80 ядрами CPU, 396 Гб оперативной памяти и достаточным объемом хранилища данных.
Варианты развертывания
- On-premise
- Виртуальные сервера
- Air-gapped environment
- Облачные провайдеры (Yandex Cloud, Cloud, VK Cloud)
Операционные системы
- Ubuntu
- CentOS
- Astra Linux
- РЕД ОС
Совместимые платформы
- Deckhouse
- OpenShift
Реализованные проекты
Где мои дети
Увеличение производительности системы сбора данных с учетом GPS и аналитики.
Задачи:
- Создание инфраструктуры для приема, хранения, обработки и анализа данных;
- Наличие в системе поддержки postgis;
- Возможность адаптации текущих пайплайнов обработки данных;
- Возможность быстрого масштабирования под потребности проекта;
- Создание CI/CD пайплайнов для приложений, работающих в инфраструктуре.
Решение:
Использовался следующий набор модулей
- ITS DPP.ETL
- ITS DPP.MPP DB
- ITS DPP.Analytics DB
Дополнительные работы
- Интеграция платформы в текущую инфраструктуру клиента
- Адаптация текущих ETL процессов
Технологические партнеры
Ответим на заявку в ближайшие 24 часа. А еще мы можем проконсультировать вас по телефону +7 800 555-91-99, электронной почте info@itsumma.ru или в Telegram-чате.
