АрхиГраф.MDM
использование платформы АрхиГраф
в качестве системы управления мастер-данными и НСИ
1
Назначение АрхиГраф.MDM
АрхиГраф – это платформа виртуализации данных, предназначенная для использования
в качестве ядра дата-центрических ИТ-архитектур.
Компоненты платформы АрхиГраф на начальном этапе перехода к дата-центрической
архитектуре могут выполнять функции классической MDM-системы.
MDM
Продукт №123
(“золотая запись”)
Продукт
№123
(копия 1)
Приложение
№1
Продукт
№123
(копия 2)
Приложение
№2
Продукт
№123
(копия 3)
Приложение
№3
«Золотая запись» – информационный
объект, хранящийся в MDM-системе и
наиболее полным, эталонным образом
описывающий соответствующий объект
реального мира.
В хранилищах приложений могут
находиться информационные объекты,
описывающие тот же объект реального
мира в определенных аспектах.
Они должны быть связаны с
«золотой записью».
2
Назначение АрхиГраф.MDM
АрхиГраф выполняет следующие функции MDM-системы:
Управление моделью (структурой) НСИ и мастер-данных. Структура данных представляется
с помощью онтологической модели и редактируется в редакторе АрхиГраф.Мир.
Модель содержит описания типов (классов) объектов, их свойств и связей.
Синхронизация состояния эталонных записей между автоматизированными системами.
Одним системам-клиентам MDM можно назначить права на изменение объектов тех или
иных классов через API, другие системы могут подписаться на получение сведений об
изменениях объектов через менеджеры очередей. Структура данных тоже доступна через API!
Совместная работа пользователей над мастер-данными. Редактор АрхиГраф.Мир позволяет
пользователям сразу видеть изменения в данные, которые вносят их коллеги. Редактор
позволяет экспортировать/импортировать данные в Excel, видеть историю их изменения,
создавать запросы на изменения и согласовывать их.
Поиск и объединение дубликатов информационных объектов с помощью правил.
Управление качеством данных с помощью настраиваемых
правил форматно-логического контроля.
Icons made by Freepik, Eucalyp from www.flaticon.com
3
Преимущества АрхиГраф.MDM
АрхиГраф – это гораздо больше, чем просто MDM! Наша платформа позволяет:
Управлять структурой данных так же, как самими данными – и через пользовательский,
и через программный интерфейс
Перенести как можно больше логики с уровня программного кода на уровень
онтологической модели с помощью правил логического вывода и ограничений
Хранить не только мастер-данные, но и любую другую информацию – транзакции,
временные ряды, геоданные и др. Для хранения каждого вида данных можно
выбрать тот тип хранилища, который наилучшим образом для них подходит.
Получать доступ к данным других приложений через программный интерфейс (API)
АрхиГраф в режиме логической витрины данных
Использовать средства машинного обучения и распознавания смысла текста
на естественном языке для нормализации НСИ и обогащения данных
Icons made by Freepik, Kiranshastry, Flat Icons, Becris from www.flaticon.com
Редактор модели и данных
Редактор онтологий АрхиГраф.Мир позволяет:
▪ Создавать, редактировать, удалять классы, атрибуты и экземпляры объектов, просматривать их в виде деревьев
или списков с возможностями сортировки и фильтрации, находить быстрым поиском по части названия
▪ Задавать значения любым свойствам любых объектов (в т.ч. несколько значений каждому атрибуту, если это
предусмотрено структурой модели), а также прикреплять к ним файлы и пользовательские комментарии
▪ Одновременно работать с моделью множеству пользователей, с учетом их прав доступа к элементам модели
▪ Создавать запросы на изменение элементов модели, если это предусмотрено правами пользователей
▪ Выполнять групповые операции с
объектами (присвоение, удаление)
▪ Просматривать эффективный набор
свойств объектов каждого класса
▪ Экспортировать и импортировать
модель и данные через файлы Excel
▪ Просматривать историю изменения
элементов модели и данных
▪ Просматривать логические
ограничения и объекты,
нарушающие эти ограничения
4
5
имеет
руководителя
является
сотрудником
Просмотр ограничения, применимого к объектам класса
Просмотр нарушения для конкретного объекта
Все правила и нарушения доступны через API платформы
АрхиГраф в виде объектов. Приложение может подписаться
на получение нарушений форматно-логического контроля,
чтобы реализовать их обработку на своей стороне.
Свойства правила
Условия правила
Физ. лицо
Среда АрхиГраф.СУЗ позволяет:
▪ Конструировать ограничения, представляющие правила форматно-логического
контроля данных в соответствии со спецификацией SHACL Constraints
Организация
Настройка правил контроля качества данных
6
Настройка правил логического вывода
отвечает за
является
сотрудником
Физ. лицо
В этом примере задача правила – дополнить
информацию в хранилище MDM сведениями о том,
что организация отвечает за определенную единицу
оборудования, если известно, что за нее отвечает
физическое лицо, являющееся сотрудником этой
организации.
Организация
Среда АрхиГраф.СУЗ позволяет:
▪ Создавать правила логического вывода, автоматически дополняющие информацию,
хранящуюся в платформе, в соответствии со спецификацией SHACL Rules
отвечает за
Единица оборудования
Условия правила
Просмотр правила в свойствах класса, к которому оно применимо
Работа с дубликатами
Среда АрхиГраф.СУЗ позволяет:
▪ Создавать правила поиска объектов-дубликатов
▪ Применять правила поиска дубликатов и объединять найденные объекты
7
Работа с запросами на изменение данных
Пользователям некоторых групп может быть назначен доступ на изменение свойств объектов определенных классов
– «с подтверждением». Такие пользователи могут создавать запросы на изменения, которые должны быть одобрены
или отклонены пользователями с более высокими правами в специальном административном интерфейсе.
8
5
9
Архитектура
хранилища данных АрхиГраф
АрхиГраф
в ИТ-архитектуре
Хранилище
онтологической модели
– графовая СУБД
Приложение –
источник данных
Приложение –
источник и
потребитель
данных
Приложение –
потребитель данных
Синхронизация
с другими кластерами
АрхиГраф
Хранилище метаданных
Реляционная СУБД
RESTсервис
noSQL СУБД
Реляционная
СУБД
БД временных рядов
in-memory СУБД
Хранилища данных под управлением платформы АрхиГраф
noSQL
СУБД
SOAPсервис
Базы данных и сервисы систем-источников данных
5
10
Архитектура
хранилища
данных
АрхиГраф
Сценарий
работы
АрхиГраф
как MDM-системы
Хранилище
онтологии
Реляционная СУБД
Мастер-данные
Редактор правил
АрхиГраф.СУЗ
Колоночная СУБД
Транзакционные
данные
Модель
Правила
История
Редактор
АрхиГраф.Мир
Хранилище истории
и метаданных
Модель и данные
3. MDM считывает
и выполняет запрос
2. Запрос на создание
объекта идет в MDM
Адаптер MDM
1. Объект создан
в источнике данных
4. MDM применяет к объекту правила контроля,
выполняет поиск объекта в БД, записывает его в БД
Kafka
Kafka
5. Результат выполнения
запроса отправлен
в приложение-источник
6. Приложение-источник
получает код объекта
Объект 1
Объект 3
Объект 2
Объект 4
Приложение-источник
данных
Приложение-потребитель
данных
Корпоративные приложения
Kafka
Адаптер MDM
8. Объект синхронизирован
между приложениями
7. MDM по подписке
отправляет новый
объект всем
заинтересованным
приложениямпотребителям
5
11
Архитектура
хранилища
АрхиГраф
API
платформы
доступа кданных
данным
АрхиГраф
Основные функции:
▪ управление распределением по хранилищам
▪ разграничение прав доступа
▪ подписка на изменения данных
▪ запросы на изменение с подтверждением
▪ протоколирование доступа
▪ хранение истории модели и всех данных
GraphQL
REST
Платформа
АрхиГраф.MDM
SPARQL
Websocket
API доступа к модели и данным
Хранилище
модели
Виды запросов:
▪ поиск объектов по любым условиям
▪ изменение объектов
▪ групповые операции
▪ геопоиск
▪ полнотекстовый поиск
Rabbit MQ
Хранилище
метаданных
Слой логики доступа к данным
Адаптеры доступа к хранилищам
Redis
mongoDB
Solr
PostgreSQL
Kafka
SPARQL
Scylla
HBase
Icons made by Prosymbols from www.flaticon.com
5
12
Архитектура хранилища
данных АрхиГраф
Функциональные
блоки платформы
АрхиГраф
Хранилище модели
Доступ
к модели
Доступ
к данным
Разграничение
точек доступа
(моделей)
Основной
API
Подписки
Доступ к
истории
Синхронизация
в режиме кластера
Хранилище метаданных
Историйность
модели
Data lineage
Историйность
данных
Слой управления данными
SPARQL endpoint
Разграничение
прав доступа
Подзапросы и
планировщик
Доступ в
режиме LDW
Слой логики доступа к данным
Нативная 4D-историйность данных