Data Management Platform «Управление хранилищем»

Low Code платформа с модульной архитектурой для хранения, обработки и управления корпоративными данными.

Документация

Что изменится в Вашей компании

01

Ваша компания перестаёт спорить о цифрах

Единое хранилище данных становится общим источником достоверной информации для всех подразделений и филиалов — вне зависимости от используемой инфраструктуры.

02

Руководители получают аналитику без участия ИТ-отдела

Актуальные дашборды и отчёты готовы в тот момент, когда они нужны для принятия решения, — без запросов в ИТ и ручной выгрузки данных.

03

Данные становятся стратегическим активом

Данные из разрозненных систем объединяются в единую платформу — готовую основу для ML-моделей, новых продуктов и стратегического прогнозирования.

04

Бизнес и ИТ начинают говорить на одном языке

Единый глоссарий и карта данных устраняют разночтения между отделами и исключает споры при сведении отчётности по группе компаний.

05

Клиентская база становится надёжной основой для аналитики

Очищенные, структурированные и защищённые данные о клиентах — основа для персонализации, точного расчёта NPS и CRM-отчётности, которой можно доверять.

06

Аналитики могут быстро начать проект

Тестовая среда с обезличенными данными разворачивается за несколько часов, а не за недели согласований со службой безопасности, — команда проверяет гипотезы без риска утечки данных.

07

Команда работает самостоятельно без привлечения IT-разработчиков

Low-code-интерфейс позволяет аналитикам подключать источники данных, настраивать ETL-процессы и запускать отчёты — без привлечения разработчиков и расширения штата.

08

Компания избавляется от дублирования данных между системами

Lakehouse-архитектура объединяет озеро и хранилище в единый слой — аналитика, ML-модели и оперативные запросы работают с одними и теми же данными без создания копий и дополнительных ETL-пайплайнов между системами.

Data Management Platform «Управление хранилищем» — основной инструмент перехода к «data-driven» модели принятия решений в компаниях крупного и среднего бизнеса, и применения AI для управления.

DMP «Управление хранилищем» позволяет:

  • Построить корпоративное хранилище данных с легким масштабированием на собственных мощностях или облачных провайдерах.
  • Сформировать единую кросс-системную BI-отчетность и дашборды для всех дочерних обществ и филиалов компании.
  • Создать технологическую базу для применения сервисов монетизации данных, подключения внешних источников и AI моделей для прогнозирования и управления ресурсами.
  • Управлять данными организации с построением единого глоссария и карты данных.
  • Создать  эталонную базу клиентов. Очистить, сортировать и защитить контактные данные, получать прозрачную отчетность на основе миллионов записей.
  • Быстро реализовать «песочницу данных», для тестов и экспериментов обеспечив конфиденциальность данных.
  • Сократить затраты на специалистов и поддержку корпоративного хранилища и отчетности.

Преимущества DMP «Управление хранилищем»

Внесение изменений без привлечения разработчиков

Low-code/no-code решение с интуитивно понятным интерфейсом: аналитики самостоятельно строят ETL-процессы, настраивают маскирование данных и запускают новые отчёты — без запросов к ИТ и без увеличения штата.

Озеро данных и хранилище — в одной платформе

Архитектура Lakehouse на базе Apache Iceberg и Delta Lake объединяет гибкость озера данных с надёжностью корпоративного хранилища. Потоковые данные из Kafka, пакетные источники, SQL-аналитика и ML-модели работают с единым слоем данных — без дублирования между системами и лишних ETL-пайплайнов.

Технологии: Apache Iceberg · Delta Lake · Apache Spark · Apache Flink · Trino · Kafka · ClickHouse · StarRocks

Входит в реестр российского ПО

Платформа построена на проверенных open source решениях и собственных разработках — требования импортозамещения выполняются без компромисса по функциональности.

Внедряется поэтапно

Можно начать с одного модуля и расширять платформу по мере роста задач — или интегрировать отдельные компоненты в существующий ИТ-ландшафт без полной замены инфраструктуры.

Гибкое управление доступом

Ролевая модель разграничивает права до уровня отдельных объектов, а умное маскирование защищает чувствительные данные без ограничения аналитической работы.

Подключается к вашему стеку

Готовые коннекторы к популярным СУБД и BI-инструментам — данные начинают поступать в хранилище без написания кастомных интеграций.

alt Оптимизирован под Arenadata

Платформа сертифицирована и протестирована совместно с Arenadata — максимальная производительность на российском data-стеке без дополнительной настройки.

alt

Этапы внедрения платформы

01
Создание технической инфраструктуры для организации КХД

Разворачиваем на мощностях заказчика или в облаке дистрибутив собственной сборки MPP СУБД GreenPlum, Airflow, HashiCorp Vault и другие компоненты

02
Настройка целевой модели
данных КХД

Обследуем источники данных, строим модель данных КХД, настроим S2T данных для послойного хранения в КХД

03
Сброс метаданных и наполнение бизнес глоссария

Выделяем домены данных, строим карту бизнес-терминов и процесс их добавления в систему, осуществляем привязку терминов с техническим слоем хранения данных

04
Генерация ETL процессов
наполнения КХД

С помощью платформы производим автоматизацию генерирования типовых ETL процессов, производим кастомизацию кода ETL процессов под требования заказчика

05
Реализация BI отчетности

Ведем справочник отчетных форм и реализуем требуемые заказчиком отчетные формы. Обладаем опытом разработки отчетов в таких BI инструментах, как Oracle BI, Power Bi, QlikSense, Visiolgy, Форсайт

06
Разработка сервисов монетизации данных (опционально)

Команда «Деко Системс» обладает значительным опытом в реализации интеративных моделей машинного обучения для проверки гипотез бизнеса с целью монетизации накопленных данных

Архитектура платформы

Платформа DMP построена на открытых стандартах и проверенных инструментах. Архитектура охватывает полный путь данных — от источника до BI-инструмента и ML-модели: потоковая и пакетная загрузка, хранение в форматах Lakehouse, распределённая обработка, семантический слой для аналитики и встроенный мониторинг с контролем безопасности.

DMP «Управление хранилищем» используется в компаниях

Стоимость решения и лицензирование

Стоимость решения с предоставляемой технической поддержкой предоставляется по запросу клиента и зависит от запрашиваемых характеристик, требуемого функционала  и поддерживаемого регламента SLA

Модули DMP «Управление хранилищем»

Модуль «Управление данными»

  • Модуль предназначен для организации и управления конфигурацией корпоративного хранилища данных.
  • Построение хранилища данных в парадигме Data Vault 2.0.
  • Организация трех сред КХД: prod/dev/uat.
  • Регистрация и организация послойного хранения данных на всех средах (ODS, DDS, ADS, STG_).
  • Регистрация источников данных, включая файлы, вызовы API, реляционные источники.
  • Определение атрибутного состава источников данных Автоматизация генерации и мониториг исполнения ETL процессов Умная Система уведомлений о всех процессах хранилища.
  • Поддержка историчности данных SCD 2.
  • Автоматический контроль качества загруженных данных. Data Quality.
  • Построение Data Lineage для всего хранилища с графическим отображением взаимосвязи таблиц от источников до аналитического слоя и далее до отчетов Взаимосвязи атрибутов.
  • Ведение бизнес глоссария с возможностью привязки терминов ко всем типам сущностей хранилища и поиском по терминам.
  • Ведение Реестра отчетов – инструмента для удобного анализа атрибутного состава отчетов и быстрого доступа к реализуемой отчетности.

Модуль «Маскирование данных»

  • Модуль предназначен для автоматизированного наполнения тестовых и разработческих сред обезличенными данными, создания «песочниц данных».
  • Автоматизация процесса переноса (as is)/ маскирования данных между окружениями (Hadoop, Vertica, Greenplum и любые JDBC подключения).
  • Автоматизация генерации ETL процессов переноса/маскирования данных.
  • Мониторинг исполнения ETL процессов.
  • LowCode подход для расширения алгоритмов маскирования данных с применением настроек и Python кода.
  • Preview результатов маскирования данных.
  • Гибкая настраиваемая система пользовательских уведомления об этапах процесса маскирования.

Модуль «Контроль качества данных»

  • Модуль контроля качества предназначен для обеспечения и поддержания целостности данных, поступающих в хранилище путем запуска процедур контроля качества.
  • Автоматизация генерации проверок качества данных на основе пользовательских SQL cкриптов.
  • Публикация и постановка на регламент процедуры проверки качества, выполнение проверки качества данных по расписанию и по событиям.
  • Мониторинг исполнения проверки качества данных.
  • Продвинутая настраиваемая система пользовательских уведомлений, включающая в себя возможность просмотра примеров некачественных данных.
  • Гибкая ролевая модель для разграничения доступа к созданию процедур контроля качества и просмотру результатов их работы.

Наши сертификаты

Наша команда

Шмитов Михаил
Шмитов Михаил
Генеральный директор
Опыт в промышленной ИТ разработке более 15 лет. Ex-CTO одного из крупнейших SAAS сервисов в России для автоматизации бухглатерской деятельности «Мое Дело»
Панов Сергей
Панов Сергей
Со-основатель
Серийный предприниматель, инвестор, основатель и председатель Совета директоров «Мое дело», ex ген директор и совладелец Актиондиджитал, AктионМедиа. Опыт создания и развития iT компаний в b2b свыше 20 лет.
Жиганов Сергей
Жиганов Сергей
Архитектор
Кандидат технических наук. Опыт в промышленной ИТ разработке более 10 лет, разрабатывал системы для анализа больших данных. Более 25 публикаций в международных изданиях по тематике ML и AI
Карпунин Павел
Карпунин Павел
Руководитель проектов
Более 15 лет опыта в ИТ. Опыт руководства проектными командами. Разрабатывал корпоративные хранилища данных для АО «Почта России» и ПАО «Ростелеком»
Текучев Кирилл
Текучев Кирилл
Технический директор
Опыт в ИТ- и промышленной разработке - 15 лет. Выполнял ИТ-проекты для ПАО «Газпром», ПАО «Банк ВТБ» и ГК «Росатом»

Отзывы клиентов

Остались вопросы?

Оставьте контактные данные и мы свяжемся с вами в ближайшее время

    Всегда на связи
    Офисы
    Москва
    г. Москва, ул. Петровка, 27, вход 2
    Смотреть на карте
    Калининград
    Ленинский проспект, 30,
    БЦ Калининград Плаза
    Смотреть на карте