Data Management Platform «Управление хранилищем»

Low Code платформа с модульной архитектурой для хранения, обработки и управления корпоративными данными.

Документация

Продвинутая клиентская аналитика для маркетинга

Интелектуальный анализ пропусков данных

Прогнозный анализ спроса на товары/услуги

Моделирование и оптимизация бизнес процессов

Кластеризация данных в витринах

Анализ данных аудио/видеопотока

decor decor

Зачем нужно использовать DMP при построении хранилища?

DMP «Управление хранилищем» позволяет исключить типичные боли бизнеса и ИТ специалистов при работе с большими данными из разных систем:

  • «грязные данные» и недоверие к отчетности

  • длительное время для подготовки и выверки отчетов и подготовки данных для обучения моделей и применения AI

  • разное значение терминов во внутрикорпоративных отчетах и различных источниках

  • сложность доступа к информации аналитиков компании,  сложность подключения новых источников

Data Management Platform «Управление хранилищем» — основной инструмент перехода к «data-driven» модели принятия решений в компаниях крупного и среднего бизнеса, и применения AI для управления.

DMP «Управление хранилищем» позволяет:

  • Построить корпоративное хранилище данных с легким масштабированием на собственных мощностях или облачных провайдерах.
  • Сформировать единую кросс-системную BI-отчетность и дашборды для всех дочерних обществ и филиалов компании.
  • Создать технологическую базу для применения сервисов монетизации данных, подключения внешних источников и AI моделей для прогнозирования и управления ресурсами.
  • Управлять данными организации с построением единого глоссария и карты данных.
  • Создать  эталонную базу клиентов. Очистить, сортировать и защитить контактные данные, получать прозрачную отчетность на основе миллионов записей.
  • Быстро реализовать «песочницу данных», для тестов и экспериментов обеспечив конфиденциальность данных.
  • Сократить затраты на специалистов и поддержку корпоративного хранилища и отчетности.

Преимущества DMP «Управление хранилищем»:

Low-code/no-code решение, реализованное в интуитивно понятном интерфейсе, применяются для контроля обработки, маскирования данных, создания ETL процессов. Работать с корпоративным хранилищем и отчетностью можно без привлечения разработчиков, что существенно сокращает стоимость эксплуатации хранилища и time to market новых отчетов и дешбордов, формирования и обучение моделей

Все модули платформы основаны на базе open source решений и собственных разработках компании, зарегистрированных в едином реестре российского программного обеспечения

Модульная архитектура, дает возможность быстрого внедрения и этапного наращивание функциональности по мере расширения бизнес-задач. Есть возможность использовать DMP «Управление хранилищем», как единую платформу по управлению данными или интегрировать отдельные модули в существующий IT-ландшафт

Гибкая и простая ролевая модель доступа , позволяет контролировать доступ к возможностям платформы и использовать механизмы умного маскирования данных

Готовый функционал подключения популярных СУБД как источников данных и использования BI инструментов для визуализации и анализа данных

alt

Решение адаптировано под использование продуктовой линейки от технологического партнера Arenadata

alt

Модули DMP «Управление хранилищем»

Модуль «Управление данными»

  • Модуль предназначен для организации и управления конфигурацией корпоративного хранилища данных.
  • Построение хранилища данных в парадигме Data Vault 2.0.
  • Организация трех сред КХД: prod/dev/uat.
  • Регистрация и организация послойного хранения данных на всех средах (ODS, DDS, ADS, STG_).
  • Регистрация источников данных, включая файлы, вызовы API, реляционные источники.
  • Определение атрибутного состава источников данных Автоматизация генерации и мониториг исполнения ETL процессов Умная Система уведомлений о всех процессах хранилища.
  • Поддержка историчности данных SCD 2.
  • Автоматический контроль качества загруженных данных. Data Quality.
  • Построение Data Lineage для всего хранилища с графическим отображением взаимосвязи таблиц от источников до аналитического слоя и далее до отчетов Взаимосвязи атрибутов.
  • Ведение бизнес глоссария с возможностью привязки терминов ко всем типам сущностей хранилища и поиском по терминам.
  • Ведение Реестра отчетов – инструмента для удобного анализа атрибутного состава отчетов и быстрого доступа к реализуемой отчетности.

Модуль «Маскирование данных»

  • Модуль предназначен для автоматизированного наполнения тестовых и разработческих сред обезличенными данными, создания «песочниц данных».
  • Автоматизация процесса переноса (as is)/ маскирования данных между окружениями (Hadoop, Vertica, Greenplum и любые JDBC подключения).
  • Автоматизация генерации ETL процессов переноса/маскирования данных.
  • Мониторинг исполнения ETL процессов.
  • LowCode подход для расширения алгоритмов маскирования данных с применением настроек и Python кода.
  • Preview результатов маскирования данных.
  • Гибкая настраиваемая система пользовательских уведомления об этапах процесса маскирования.

Модуль «Контроль качества данных»

  • Модуль контроля качества предназначен для обеспечения и поддержания целостности данных, поступающих в хранилище путем запуска процедур контроля качества.
  • Автоматизация генерации проверок качества данных на основе пользовательских SQL cкриптов.
  • Публикация и постановка на регламент процедуры проверки качества, выполнение проверки качества данных по расписанию и по событиям.
  • Мониторинг исполнения проверки качества данных.
  • Продвинутая настраиваемая система пользовательских уведомлений, включающая в себя возможность просмотра примеров некачественных данных.
  • Гибкая ролевая модель для разграничения доступа к созданию процедур контроля качества и просмотру результатов их работы.

Этапы внедрения платформы

01
Создание технической инфраструктуры для организации КХД

Разворачиваем на мощностях заказчика или в облаке дистрибутив собственной сборки MPP СУБД GreenPlum, Airflow, HashiCorp Vault и другие компоненты

02
Настройка целевой модели
данных КХД

Обследуем источники данных, строим модель данных КХД, настроим S2T данных для послойного хранения в КХД

03
Сброс метаданных и наполнение бизнес глоссария

Выделяем домены данных, строим карту бизнес-терминов и процесс их добавления в систему, осуществляем привязку терминов с техническим слоем хранения данных

04
Генерация ETL процессов
наполнения КХД

С помощью платформы производим автоматизацию генерирования типовых ETL процессов, производим кастомизацию кода ETL процессов под требования заказчика

05
Реализация BI отчетности

Ведем справочник отчетных форм и реализуем требуемые заказчиком отчетные формы. Обладаем опытом разработки отчетов в таких BI инструментах, как Oracle BI, Power Bi, QlikSense, Visiolgy, Форсайт

06
Разработка сервисов монетизации данных (опционально)

Команда «Деко Системс» обладает значительным опытом в реализации интеративных моделей машинного обучения для проверки гипотез бизнеса с целью монетизации накопленных данных

DMP «Управление хранилищем» используется в компаниях:

Наши сертификаты

Стоимость решения и лицензирование

Стоимость решения с предоставляемой технической поддержкой предоставляется по запросу клиента и зависит от запрашиваемых характеристик, требуемого функционала  и поддерживаемого регламента SLA

Наша команда

Шмитов Михаил
Шмитов Михаил
Генеральный директор
Опыт в промышленной ИТ разработке более 15 лет. Ex-CTO одного из крупнейших SAAS сервисов в России для автоматизации бухглатерской деятельности «Мое Дело»
Панов Сергей
Панов Сергей
Со-основатель
Серийный предприниматель, инвестор, основатель и председатель Совета директоров «Мое дело», ex ген директор и совладелец Актиондиджитал, AктионМедиа. Опыт создания и развития iT компаний в b2b свыше 20 лет.
Жиганов Сергей
Жиганов Сергей
Архитектор
Кандидат технических наук. Опыт в промышленной ИТ разработке более 10 лет, разрабатывал системы для анализа больших данных. Более 25 публикаций в международных изданиях по тематике ML и AI
Карпунин Павел
Карпунин Павел
Руководитель проектов
Более 15 лет опыта в ИТ. Опыт руководства проектными командами. Разрабатывал корпоративные хранилища данных для АО «Почта России» и ПАО «Ростелеком»
Текучев Кирилл
Текучев Кирилл
Технический директор
Опыт в ИТ- и промышленной разработке - 15 лет. Выполнял ИТ-проекты для ПАО «Газпром», ПАО «Банк ВТБ» и ГК «Росатом»

Отзывы клиентов

Остались вопросы?

Оставьте контактные данные и мы свяжемся с вами в ближайшее время

    Всегда на связи
    Офисы
    Москва
    125167, Ленинградский проспект, 37, БЦ Аэродом
    Смотреть на карте
    Калининград
    236006, ул. Театральная 35, БЦ Морской
    Смотреть на карте