Управление данными с помощью SAP Data Intelligence PUBLIC Управление данными – 5 основных задач по мнению SAP Использование и монетизация данных Отчетность SAC AutoML Machine Learning SAP DATA INTELLIGENCE Управление метаданными Корпоративная архитектура SAP POWER DESIGNER Каталог метаданных Классификация Бизнес- SAPданных DATA INTELLIGENCE глоссарий Data Lineage Анализ и улучшение качества данных SAP MDG На основе правил С помощью ML SAP DATA INTELLIGENCE Интеграция и обработка данных ETLDS SAP Репликация HANA SDI Анализ потоковых данных Streaming Analytics Data INTELLIGENCE Pipelines SAP DATA Защита конфиденциальной информации Маскирование © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC Анонимизация SAP DATA INTELLIGENCE Авторизация на доступ к данным 2 Управление данными – факторы успеха § § Управление данными должно быть ориентировано на получение ценности для бизнеса – это первый приоритет Это позволит: § Вовлечь в процесс руководство компании и бизнес в процесс § Показать связь между связь между инвестициями в управление данными и реальными результатами © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 3 SAP Data Intelligence Распределенные системы Решения SAP SAP NetWeaver + DMIS Addon ABAP Integration SAP Data Intelligence Streaming (e.g. IoT) Cloud Storages SAP BW/4 HANA SAP BW BW Integration Интеллектуальные Сценарии Разработка ML | Продуктивизация | Управление Standard Connectors (open & native protocols) Hadoop / HDFS REST APIs SAP C/4HANA Cloud Data Integration* … BW Process Chains Data Services Jobs HANA Flowgraphs SAP Analytics Cloud Workflows Управление данными Databases Поиск | Каталог метаданных | Глоссарий | Качество Public Clouds Интеграция и обработка данных Сбор данных | Обработка | Прогнозирование SAC Push API Оркестрирование данных (on-premise, cloud, multi cloud) 3rd Party Connectors SAP HANA Integration © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC Интеграция | Планирование | Мониторинг 3rd Party Applications SAP API Business Hub SAP Cloud Platform Connectors SCI for process integration SAP Open Connectors 5 Исследование данных Поиск, просмотр и профилирование • I. ИССЛЕДОВАНИЕ Исследование данных систем, подключенных SAP Data Intelligence • Профилирование и просмотр данных • Данные профилирования предоставляют статистическую информацию для того, чтобы больше узнать о данных • Предварительный просмотр предлагает общее представление данных © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 6 Каталог Метаданных II. ОПРЕДЕЛЕНИЕ § Публикация метаданных в Каталог – Metadata Crawler: Автоматическое индексирование и публикация метаданных в каталог – Индексация и публикация вручную SAP Data Intelligence Metadata Explorer Discovery & Profiling Search Lineage § Гибкий поиск данных по названиям объектов, полей и тегам Modeling Automation/ Suggestions Business Rules Metadata Catalog § Data Lineage обеспечивает полное понимание происхождения и использования данных Metadata Crawler Manual Definition Connected Sources SAP Data Hub Sources (SAP HANA, SAP BW, S3, HDFS, OData, Oracle, …) © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC Other Repositories (SAP Information Steward, Atlas by SAP, Hive) 7 Каталог Метаданных Иерархическое тегирование II. ОПРЕДЕЛЕНИЕ Иерархическое тегирование Система иерархического тегирования организовывать ведение тегов и управлять ими. помогает Сценарий применения • Управление большим Каталогом Метаданных можно упростить с помощью иерархий типов контента Возможности • Присвоение тегов объектам данных или отдельным колонкам • Редактирование и удаление тегов, которые уже не релевантны • Просмотр тегов в Каталоге Метаданных, Lineage, и в Fact Sheet • Фильтрация и поиск данных по тегам • Автоматическая идентификация тегов по типам контента. Для этого необходимо опубликовать объект данных в Каталог Метаданных и профилировать данные объекта. © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 8 Каталог Метаданных Сотрудничество, рейтинги и комментарии II. ОПРЕДЕЛЕНИЕ Рейтинги и комментарии Рейтинги и комментарии позволяют бизнеспользователям совместно работать над одними и теми же доменами данных. Сценарии применения Организация совместной работы над данными и коммуникации между различными персонами с помощью оценок и комментариев к объектам данных • Повторное использование знаний о данных для новых пользователей • Возможности Использование профилирования данных для публикации информации о рейтинге в Metadata Explorer • Простой способ добавить комментарии, чтобы обозначить бизнес-контекст • © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 9 Управление данными Бизнес-Глоссарий II. ОПРЕДЕЛЕНИЕ Бизнес-глоссарий • Описывать различные бизнес-термины на языке бизнеса • Связывать бизнес-термины с объектами Каталога Метаданных, т.е. с объектами данных, которые существуют в подключённых системах • Создавать категории для группировки бизнес-терминов, принадлежащих одной предметной области или бизнеспроцессу • Создавать новые шаблоны для бизнес-терминов, которые позволят присваивать бизнес-терминам дополнительные атрибуты • Гибкий поиск по категориям только или по бизнес-термину только, или поиск по комбинации категории и бизнес-термина Сценарий применения • Центральный и общий репозиторий бизнес-терминов и определений, чтобы способствовать общему, последовательному пониманию бизнес-терминов в вашей организации. © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 10 Анализ качества данных Правила проверки и функции мониторинга трендов по качества данных II. ОПРЕДЕЛЕНИЕ Правила проверки для мониторинга качества данных © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC • Определение бизнес-правил и мониторинг KPIs по по качеству данных с помощью дашбордов • Повторное использование правил, связь правил с данными из различных источников • Параметризация для динамического анализа качества данных Логические операции AND/OR для объединения условий в бизнес-правилах Data pipeline операторы для валидации данных и в том числе потоковых IoT данных 11 Мониторинг качества данных Дашборд для визуализации результатов проверки качества данных IV. ОЦЕНКА. И МОНИТОРИНГ A custom dashboard shows the data quality information on scorecards that you’re interested in © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 12 Каталог Метаданных Metadata Lineage IV. ОЦЕНКА. И МОНИТОРИНГ Профилирование и просмотр Просмотр источников данных, трансформации данных в графическом виде от целевого объекта • • Подключение lineage в исследовании данных Возможности SAP Business Warehouse: InfoProvider and query SAP HANA: column table, row table, SQL views, and virtual table SAP Vora: streaming table, datasource table, and views Data Pipelines operators o Storage operators o HANA & VORA operators o Flowagent operators o SQL statements in HANA/VORA operators o New File operators © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 13 Мониторинг задач и активностей © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC IV. ОЦЕНКА. И МОНИТОРИНГ 14 Self-Service Подготовка Данных Self-service подготовка данных Self-service и data-driven подготовка данных для бизнес-пользователей Сценарии применения • Обеспечение процесса подготовки данных в режиме Self-service • Улучшение качества данных для использования данных в интеллектуальных стенаниях • Создание новых наборов данных на основе Create new data sets based for scenario and project requirements Возможности delete combine © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC new or adjusted data set • Доступ к объектам данных для подготовки на основе примеров данных • Трансформация, гармонизация, уточнение и обогащение в режиме self-service Просмотр, презентация и отчет по результатам немедленно Загрузка файлов непосредственно в функциональности подготовки данных и сохранение в поддерживаемый сторадж Добавление новых расчетных колонокto values in other columns in the preparation 16 Каталог Метаданных Загрузка файлов в Metadata Explorer и Data Preparation Загрузка файлов • Позволяет бизнес-пользователям загружать файлы и управлять папками в поддерживаемых типах систем: Amazon S3, Google Cloud Storage (GCS), Hadoop Distributed File System (HDFS), Microsoft Azure Data Lake (ADL) and Microsoft Windows Azure Storage Blob (WASB) © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 17 SAP Data Intelligence – Каталог Метаданных Distributed & External Data Systems Решения SAP SAP NetWeaver + DMIS Addon SAP BW/4 HANA SAP BW ABAP Integration SAP Data Intelligence BW Integration … BW Process Chains Data Services Jobs HANA Flowgraphs SAP Analytics Cloud (on-premise, cloud, multi cloud) Workflows SAC Push API q Metadata Catalog Data Hub 2.7 and DI 1910 File (CSV, ORC, PARQUET) q Table, View, CDS View, ODP Extractor q InfoProvider, Query, Datastore q Virtual Table, Calculation View, Row and Column Table SAP HANA Integration © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC Cloud Storages Standard Connectors SAP C/4HANA Cloud Data Integration* Streaming (e.g. IoT) (open & native protocols) Hadoop / HDFS REST APIs Databases Public Clouds 3rd Party Connectors 3rd Party Applications SAP API Business Hub SAP Cloud Platform Connectors SCI for process integration SAP Open Connectors *This is the current state of planning and may be changed by SAP at any time without notice. 18 Позиционирование инструментов SAP для управления данными SAP Information Steward BI Systems Databases Metadata Integrators Metadata Integrators bundled with Information Steward SAP Software: BI Platform, Data Services, SAP BW, SAP HANA, SAP PowerDesigner, SAP ASE, SAP IQ NON SAP Software: CWMXML (CWM), RDBMS: MSSQL Server, DB2, Teradata and JDBC Sources Other Metadata Integrators available* ETL Modeling Tools SAP Information Steward Metadata Repository Altova Borland CA COBOL Embarcadero EMC Gentleware Silverun Knightbridge (HP) IBM Informatica Microsoft MicroStrategy NoMagic OMG Oracle SELECT SPARX Systems SUN Teradata Tigris Visible Systems Corp W3C Централизован ный обзор и каталогизация метаданных из различных источников Central Repository Other metadata integrators available via Meta Integration Technology, Inc. (MITI); http://www.metaintegration.net/Products/MIMB/SupportedTools.html © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 20 OUTLOOK Взаимодополняющие решения – SAP Data Intelligence & Information Steward SAP Information Steward Инструмент для решения всех задач управления данными. Непрерывное понимание качества ваших доменов данных и расчет стоимости некачественных данных и влияния на бизнес. Понимание влияние качества данных на ваши бизнес-процессы и оперативную и аналитическую отчетность. Stewardship and Governance Решение для управления метаданными разнородных данных (структурированных, неструктурированных, потоковых, облачных и т. д.), создания инновационных сценариев, интеграция и обработка данных в распределенным ландшафте с помощью потоков данных (data pipelines). Interoperability* <<Sources…>> Compliance and Financial Impact Files Applications Databases SAP Data Intelligence Connection BI Systems SAP Information Steward Data Discovery and Stewardship ETL Tools Information Policy Hub Metadata Explorer Data processing and integration style IoT Data Stream ML/Predictive SAP Data Intelligence Data Exchange C ollect Prepare Enterprise Data Approval Workflow Unstructured Data Enrich R efine Orchestrate Data Warehouse Data Lake/ Object Storages Основной сценарий : Основной сценарий применения Централизованное управление данными в компании в Хранилищах Данных Data Science и машинное обучение, «большие» данные, интернет вещей − Формирование каталога метаданных и бизнес-глоссария − Формирование каталога метаданных − Определение политик управления данными, привязка бизнес-терминов, технических артефактов каталога метаданных и правил контроля качества данных с оценкой стоимости некачественных данных для компании − Тэгирование артефактов Каталога метаданных для быстрого поиска и понимания содержимого этих артефактов − Определение бизнес-терминов и связь бизнес-терминов и метаданных* − Дашборд для мониторинга качества данных − Подготовка дата сетов для использования в инициативах по ML − Прозрачность формирования показателей и анализ влияния изменений − Анализ качества данных с помощью бизнес-правил − What-if анализ для инициатив в области управления данными − Дашборд для мониторинга качества данных − Прозрачность формирования показателей и анализ влияния изменений © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 21 This presentation and SAP’s strategy and possible future developments are subject to change and may be changed by SAP at any time for any reason without notice. This document is provided without a warranty of any kind, either express or implied, including but not limited to the implied warranties of merchantability, fitness for a particular purpose, or noninfringement. OUTLOOK Взаимодополняющие решения – SAP Data Intelligence & Information Steward Пример совместного использования SAP Data Intelligence 1a Machine Sensor 3 Streaming Machine Learning C ollect Social Application 2 SAP Information Steward Metadata 1b Data Stores Scorecard 1a/b Получение больших объемов структурированных, неструктурированных, потоковых, облачных и т. д. данных (Data Intelligence) R efine 4 Orchestrate Visualization 5 Business Term Rule Meta Integration Bridge (3rd Party) Enrich Detect Error Data Exchange Information Policy Database Prepare Governance 2 Сбор метаданных из источников, которые изначально не поддерживаются в SAP DI (например, SAP ASE, CWM и т. д.), включая не-SAP источники (например, Informatica), через открытые стандарты MITI (SAP Information Steward) © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 3 Применение алгоритмов машинного обучения для автоматической маркировки ваших данных для понимания характеристик метаданных (SAP Data Intelligence)** Cloud Application GCS | S3 | WASB * BW | ABAP * Relational Database Hadoop HANA | SQL | Oracle * HDFS * 4 Сбор метаданных из всех источников для того, чтобы понимать, какие данные есть в ландшафте, и получать представление об отношениях, «таких же как», «связанных с» и т. Д. (SAP Data Intelligence) 5 Предоставление пользователям гибкого поиска по всем данным в одном каталоге и динамического просмотра происхождение, анализ влияния, отчеты о потребителях данных и т. д. Для всех данных (SAP Data Intelligence) * For a complete list of supported sources refer to SAP Data Hub documentation or PAM 22 This presentation and SAP’s strategy and possible future developments are subject to change and may be changed by SAP at any time for any reason without notice. This document is provided without a warranty of any kind, either express or implied, including but not limited to the implied warranties of merchantability, fitness for a particular purpose, or noninfringement. OUTLOOK Взаимодополняющие решения – SAP Data Intelligence & Information Steward Пример совместного использования SAP Data Intelligence 1a Machine Sensor Social Application 2b Streaming 2a SAP Information Steward Data Exchange Metadata Rule Meta Integration Bridge (3rd Party) Business Rule 2b Scorecard 1b Data Stores Scorecard 1a/b Получение больших объемов структурированных, неструктурированных, потоковых, облачных и т. д. данных (Data Intelligence) 2b Machine Learning C ollect Prepare Governance Enrich Detect Error R efine 4 Orchestrate Visualization 5 Business Term Information Policy Database 3 Glossary 2a/b Формирование согласованного и утвержденного бизнесглоссарием / термином с бизнес-правилами и системами показателей (SAP Information Steward и SAP Data Intelligence) © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 3 Применение алгоритмов машинного обучения для понимания всех данных и связывания данных для корректировки бизнестерминов и бизнесправил (SAP Data Intelligence) Cloud Application GCS | S3 | WASB * BW | ABAP * Relational Database Hadoop HANA | SQL | Oracle * HDFS * 4 Сбор метаданных из всех источников для того, чтобы понимать, какие данные есть в ландшафте, и получать представление об отношениях, «таких же как», «связанных с» и т. Д. (SAP Data Intelligence) 5 Анализ данных: обнаружение ошибок, пропущенных данных или несоответствующего содержимого (отсутствует идентификатор оборудования в данных датчика и т. д.) и активация потока очистки (SAP Data Intelligence) * For a complete list of supported sources refer to SAP Data Hub documentation or PAM 23 This presentation and SAP’s strategy and possible future developments are subject to change and may be changed by SAP at any time for any reason without notice. This document is provided without a warranty of any kind, either express or implied, including but not limited to the implied warranties of merchantability, fitness for a particular purpose, or noninfringement. Взаимодополняющие решения – SAP Data Intelligence & Data Services SAP Data Intelligence SAP Data Services Перенос прикладных данных из транзакционных источников в Хранилища Данных, включая анализ и очистку данных и трансформацию данных Data movement style Интеграция данных, операций и управления на основе конвейера для разнородных типов данных (структурированных, неструктурированных, потоковых, облачных и т. д.), поддерживающее как интеграцию, так и обработку распределенным способом Interoperability Data processing and integration style <<Sources…>> IoT Data Stream Web Services ML/Predictive Unstructured Data Databases Files Batch SAP Data Services Batch Applications Databases SAP Data Intelligence Orchestration C ollect Enterprise Data HANA Prepare Enrich R efine Orchestrate Data Warehouse Data Lake/ Object Storages • BI / Традиционное Хранилище Данных, Миграция данных, Анализ качества данных • Data science & машинное обучение, Big Data, IoT, Data Network • ETL в гетерогенном ландшафте • Поддержка различных методов сбора данных • Централизованная on premise инфраструктура • Конвейеры для оркестрации данные в комплексном ландшафте • Фокус на реляционные данные • • Комплексные трансформации данных & обработка (Join, SQL, DQ…) Варианты развёртывания Cloud & on-premise, распределенная обработка данных и серверные вычисления через Kubernetes • Фокус на Big data (таблицы/ракурсы, хранилища документов, любые типы данных) • Комплексные сценарии очистки и обработки данных (L, Фото/Видео, собственный код) © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC 24 Взаимодополняющие решения – SAP Data Intelligence & Data Services 1 SAP Data Intelligence Streaming 2 Machine Sensor 3 Orchestration SAP Data Services CRM Refine C ollect Machine Learning Prepare Enrich R efine 5 4 SAP BW/4HANA Orchestration Orchestrate Extract Transform Deduplicate Data Stores Database 1 Сбор больших объемов данных (расстояние, темп, сердечный ритм, местоположение ...) от датчиков машины с помощью оператора MQTT / Kafka (SAP Data Intelligence) Cloud GCS | S3 | WASM 2 3 Подготовка данных в соответствии с назначением и сохранение в одной из подключенных систем (SAP Data Intelligence) Получение дополнительных релевантных структурированных данных (клиенты, продажи, поведенческие, демографические данные) в хранилища данных путем удаленной организации заданий Data Sservices © 2020 SAP SE or an SAP affiliate company. All rights reserved. ǀ PUBLIC Hadoop HDFS 4 Применение алгоритмов машинного обучения (классификацию, кластеризацию, идентификацию выбросов и т. д.) к данным, чтобы получить новые сведения о пользовательских характеристиках (SAP Data Intelligence) 5 Вызов цепочки загрузки данных для передачи результатов в SAP BW / 4HANA для дальнейшего анализа данных и создания отчетов (SAP Data Intelligence) 25 Follow us www.sap.com/contactsap © 2020 SAP SE or an SAP affiliate company. All rights reserved. No part of this publication may be reproduced or transmitted in any form or for any purpose without the express permission of SAP SE or an SAP affiliate company. The information contained herein may be changed without prior notice. Some software products marketed by SAP SE and its distributors contain proprietary software components of other software vendors. National product specifications may vary. These materials are provided by SAP SE or an SAP affiliate company for informational purposes only, without representation or warranty of any kind, and SAP or its affiliated companies shall not be liable for errors or omissions with respect to the materials. The only warranties for SAP or SAP affiliate company products and services are those that are set forth in the express warranty statements accompanying such products and services, if any. Nothing herein should be construed as constituting an additional warranty. In particular, SAP SE or its affiliated companies have no obligation to pursue any course of business outlined in this document or any related presentation, or to develop or release any functionality mentioned therein. This document, or any related presentation, and SAP SE’s or its affiliated companies’ strategy and possible future developments, products, and/or platforms, directions, and functionality are all subject to change and may be changed by SAP SE or its affiliated companies at any time for any reason without notice. The information in this document is not a commitment, promise, or legal obligation to deliver any material, code, or functionality. All forward-looking statements are subject to various risks and uncertainties that could cause actual results to differ materially from expectations. Readers are cautioned not to place undue reliance on these forward-looking statements, and they should not be relied upon in making purchasing decisions. SAP and other SAP products and services mentioned herein as well as their respective logos are trademarks or registered trademarks of SAP SE (or an SAP affiliate company) in Germany and other countries. All other product and service names mentioned are the trademarks of their respective companies. See www.sap.com/copyright for additional trademark information and notices.
