Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP CONTEÚDO CONTEÚDO ....................................................................................................................... 2 Business Intelligence (BI)................................................................................................... 3 Data Warehouse ............................................................................................................... 6 Características do Data Warehouse ...................................................................................... 6 Data Warehouse X Banco de Dados Tradicionais .................................................................. 9 Estrutura do Data Warehouse ............................................................................................. 11 Ciclo de Vida do Data Warehouse ....................................................................................... 14 Tipos de DW ......................................................................................................................... 15 Data Mart ......................................................................................................................... 15 Data Store Operacionais (ODS) ........................................................................................ 15 EDW – Enterprise Data Warehouse ................................................................................. 16 Modelagem Multidimensional ........................................................................................ 17 Esquemas Multidimensionais .............................................................................................. 20 Processo de ETL ................................................................................................................... 23 Etapas de ETL .................................................................................................................... 24 Benefícios do ETL .............................................................................................................. 25 Processamento Analítico Online (OLAP) ............................................................................. 27 Sistemas Transacionais (OLTP) x Sistemas Analíticos (OLAP) .......................................... 27 Operações OLAP ............................................................................................................... 30 Arquiteturas de Servidores OLAP ..................................................................................... 36 ERP – Sistemas Integrados de Gestão .............................................................................. 41 Arquitetura de Sistemas ERP ............................................................................................... 41 2 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Business Intelligence (BI) - BI – Business Intelligence (Inteligência do Negócio) • São técnicas, métodos e ferramentas de análise de dados para subsidiar processos de decisão de uma empresa. • Business Intelligence (BI) é um termo abrangente que combina arquiteturas, ferramentas, bancos de dados, ferramentas de análise, aplicações e metodologias. • BI é transformar dados em informações úteis (conhecimento). - Principais objetivos do Bl: • Permitir o acesso interativo (por vezes em tempo real) aos dados; • Permitir a manipulação de dados; • Dar aos gestores e analistas a capacidade de realizar análise adequada. - É baseado na transformação dos dados em informação, em seguida, informações em decisões e, finalmente, em ações. - BI representa a habilidade de se estruturar, acessar e explorar informações, normalmente guardadas em um DW/DM (Data Warehouse/Data Mart), com o objetivo de desenvolver percepções, entendimentos, conhecimento, os quais podem produzir um melhor processo de tomada de decisão. - Conhecimento relacionados: • Gerência de Conhecimento (KMS) ▪ A gerência do conhecimento (KMS), pelo seu lado, objetiva estabelecer uma aproximação integrada e colaborativa para capturar, cirar, organizar e usar todos os ativos de informação de uma empresa. ▪ Enquanto Business Intelligence é mais compartimentada, objetiva e focada em estruturas definidas, a KMS trabalha o ativo de informações, independentemente da sua forma, estrutura e domínio. • Inteligência Competitiva (CI) ▪ A Inteligência Competitiva (CI) oferece a ideia de explorar o outro lado, o dos concorrentes, obtendo informações detalhadas sobre os competidores e o mercado onde se guerreira pela opção do cliente. ▪ Como pode se perceber, a CI tem por objetivo provar as organizações de um processo sistemático de coleta e análise de informações sobre as atividades correlatas e tendências de mercado, visando absorver o maior número de informações que possibilitem melhoria no processo de tomada de decisão e de desenvolvimento empresarial. 3 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP ▪ Isso mostra seu relacionamento estrito com a BI. • Balanced Scorecard (BSC) ▪ Transformação do emprego das várias estratégias empresariais em indicadores, para análise por parte da alta gerência da empresa. ▪ Seu emprego permite responder perguntas do tipo: o Como avaliar o efetivo retorno de investimentos em Business Intelligence? o Como garantir que CRM transformou-se em solução que agrade aos clientes? - Componentes de uma BI: • O Data Warehouse (DW) com suas fontes de dados; • O Business Analytics, uma coleção de ferramentas para manipulação, mineração, análise de dedados do DW; • O Business Performance Management (BPM) para monitoramento e análise de performance; • A Interface com o usuário, por exemplo, um dashboard. FCC BI utiliza ferramentas que consolidam, analisam e acessam vastas quantidades de dados para ajudar os usuários a tomar melhores decisões empresariais. BI utiliza como principais ferramentas os softwares para consulta e relatórios de banco de dados, ferramentas para análise multidimensional de dados e o data mining. 4 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP BI confere às empresas a capacidade de acumular informações; adquirir conhecimentos sobre clientes, concorrentes e operações internas; e mudar o comportamento de tomada de decisão a fim de alcançar maior lucratividade e outras metas corporativas. BI se refere à aplicação de técnicas analíticas para informações sobre condições de negócio no sentido de melhorá-las, de uma maneira automatizada, mas com a interpretação e respostas humanas, de forma a melhorar a tomada de decisões. BI reúne recursos que provêm a habilidade para que a pessoa certa receba a informação adequada e no momento correto para tomar a melhor decisão. BI consiste em um sistema de negócios que inclui uma estrutura de busca efetiva e acessível, acurada, em tempo real, com informações e relatórios que permitam aos líderes das áreas de negócio se manterem informados para tomar decisões. BI é uma solução fácil de dizer, mas difícil de fazer corretamente pois envolve mudanças na forma como a organização conduz uma busca efetiva, bem como, a necessidade de se possuir uma base de dados de qualidade para que se possa tomar ações com o objetivo de otimizar a performance corporativa. Em Business Intelligence (BI), as consultas de dados que NÃO estão disponíveis em relatórios periódicos, ou seja, consultas criadas sob demanda especificamente para um conteúdo, layout ou cálculo, agilizando ou facilitando a tomada de decisão, são chamadas de consultas ad hoc. É uma característica de um sistema de Business Intelligence: Capacidade de cruzar informações de diferentes bancos de dados, gerando relatórios analíticos diversos. A área de BI - Business Intelligence está diretamente envolvida com os projetos de implementação das aplicações de CI, KMS e BSC. 5 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Data Warehouse - Um data warehouse (DW) é um conjunto de dados produzido para oferecer suporte à tomada de decisões; • É também um repositório de dados atuais e históricos de possível interesse aos gerentes de toda a organização. - Data warehouse é uma coleção de dados orientada a assunto, integrada, não volátil, variável no tempo para o suporte às decisões da gerência. (W. H. Inmon). - É um conjunto de ferramentas e técnicas de projeto, que quando aplicadas às necessidades específicas dos usuários e aos bancos de dados específicos permitirá que planejem e construam um Data Warehouse (Kimball). - Banco de dados, com ferramentas de consulta e relatório, que armazena dados atuais e históricos extraídos de vários sistemas operacionais e consolidados para fins de analises e relatórios administrativos (Laudon&Laudon). - Uma coleção de tecnologias de apoio à decisão, visando habilitar o trabalhador do conhecimento (executivo, gerente, analista) a tomar decisões melhores e mais rápidas. - Data warehouses oferecem acesso a dados para análise complexa, descoberta de conhecimento e tomada de decisão. - Um Data warehouse geralmente é um componente central de uma infraestrutura BI em uma organização, funciona como um repositório de armazenagem e análise de informações numéricas. Características do Data Warehouse - Orientado por Assuntos (Temas) • Os dados são organizados por assunto pormenorizado, como vendas, produtos ou cliente. • Refere-se ao fato do DW armazenar informações sobre temas específicos importantes para o negócio da empresa. • Exemplos típicos de temas são: produtos, atividades, contas, clientes, etc. 6 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP • A orientação por assunto proporciona uma visão mais abrangente da organização. - Integrado • Os data warehouses devem colocar os dados de diferentes fontes em um formato consistente. • Refere-se à consistência de nomes, das unidades das variáveis, etc, no sentido de que os dados foram transformados até um estado uniforme. ▪ Por exemplo, considere-se sexo como um elemento de dado. ▪ Uma aplicação pode codificar sexo como M/F, outra como 1/0 e uma terceira como H/M. ▪ Conforme os dados são inseridos para o Data Warehouse, eles são convertidos para um estado uniforme, ou seja, sexo é codificado apenas de uma forma. • Da mesma maneira, se um elemento de dado é medido em centímetros em uma aplicação, em polegadas em outra, ele será convertido para uma representação única ao ser colocado no Data Warehouse (Campos, 1999). - Não-volátil • Após os dados serem inseridos em um DW, os usuários não podem alterar ou atualizá-los. • Significa que o Data Warehouse permite apenas a carga inicial dos dados e consultas a estes dados. • Após serem integrados e transformados, os dados são carregados em bloco para o Data Warehouse para que estejam disponíveis aos usuários para acesso. • No ambiente operacional, ao contrário, os dados são, em geral, atualizados registro a registro, em múltiplas transações. - Variável no Tempo (série temporal) • Um data warehouse mantém dados históricos. • Segundo W.H.Inmon todos os dados no DW são precisos em algum instante no tempo, como eles podem estar corretos somente em um determinado momento, é dito que esses dados "variam com o tempo". • O tempo é um dimensão importante à qual todo DW deve oferecer suporte. - Granularidade dos Dados • Refere-se ao nível de sumarização dos elementos e de detalhe disponíveis nos dados. 7 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP • Em um nível de granularidade muito alto, o espaço em disco e o número de índices necessários se tornam bem menores, há, porém, uma diminuição da possibilidade de utilização dos dados para atender a consultas detalhas. • Quanto maior o nível de detalhes, menor o nível de granularidade. • O nível de granularidade afeta diretamente o volume de dados armazenado no DW e ao mesmo tempo o tipo de consulta que pode ser respondida. FCC Ao nível de sumarização dos elementos e de detalhes disponíveis nos dados em um DW dá-se o nome de granularidade. Características de um Data Warehouse: • Organização dos dados por assunto. • Conteúdo composto de dados históricos, sumariados e integrados. • Disponibilizar suporte para a tecnologia de data mining. • Possibilitar processamento mais eficiente e apresentação de dados focada na tomada de decisão. No Data Warehouse, o dado tem um valor histórico, por referir-se a algum momento específico do tempo, portanto, ele não é atualizável; a cada ocorrência de uma mudança, uma nova entrada é criada para sinalizar esta mudança. Como melhor relação custo/benefício, em um DW é mais aconselhável armazenar informações de caráter histórico e estatístico. Um elemento fundamental que caracteristicamente distingue a utilidade dos sistemas de bancos de dados de apoio à decisão dos demais sistemas tradicionais é a temporalidade. Um critério fundamental em um data warehouse é que os dados sejam considerados não voláteis e sejam carregados em massa. O Data Warehouse (DW) é um tipo especial de banco de dados que proporciona uma sólida e concisa integração dos dados de uma empresa para a realização de análises gerenciais estratégicas de seus principais processos de negócio. O DW é um depósito de dados orientado por assunto, integrado, variável com o tempo e não volátil. Uma vez inseridos, os dados não podem ser alterados, o que implica não ser necessário nenhum tipo de bloqueio por concorrência de usuários no acesso. Uma organização precisa utilizar o máximo de informação para criar e manter vantagem competitiva. Profissionais tomadores de decisão exigem dos sistemas de suporte à decisão mais recursos para análise, front-ends que suportem consultas ad hoc, etc. Neste contexto, um DW − Data Warehouse pode ser muito útil, pois é capaz de integrar os dados internos e externos da organização em uma estrutura única. Uma vez obtida a integração, ferramentas OLAP e de data mining podem ser utilizadas para a análise dos dados. 8 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Comparados com os BDs transacionais, os DWs são não-voláteis. Um DW não provoca preocupações do tipo deadlock ou atualizações de registro a registro. Os dados vêm de um ambiente operacional e, depois de carregados no DW, podem ser consultados sem necessidade de nenhum tipo de bloqueio por concorrência de usuários no seu acesso. Um Data Warehouse é um repositório de dados atuais e históricos de uma organização que possibilita a análise de grande volume de dados para suportar a tomada de decisões estratégicas, possuindo registros permanentes. CESPE Toda estrutura de dados no DW tem um elemento de tempo – como dia, mês ou ano – como referência. Em um ambiente data warehouse (DW), é possível a análise de grandes volumes de dados, os quais ficam disponíveis para serem alterados e manipulados pelo usuário. O data warehouse é uma coleção de dados orientada por assunto, integrado, não volátil e variante no tempo, voltado para a análise de séries temporais e de tendências, a partir do processamento de dados históricos. Data Warehouse X Banco de Dados Tradicionais - Banco de Dados Tradicionais • São transacionais (relacionais, OO, em rede ou hierárquicos). • Têm suporte para o processamento de transação on-line (OLTP). • Inclui inserções, atualizações e exclusões. - Data Warehouse • Tem a característica de servir principalmente para aplicações de apoio à decisão. • Eles são otimizados para recuperação de dados, e não para processamento de transação de rotina. • Contem quantidades muito grandes de dados de várias fontes, que podem incluir bancos de dados de diferentes modelos de dados e, às vezes, arquivos adquiridos de sistemas e plataformas independentes. 9 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP FCC Dentre as diferenças cruciais entre o modelo tradicional de uso de bancos de dados OLTP (Online Transaction Processing) e o modelo voltado para Data Warehousing (DW) está o número de índices necessários, muito maior no caso de DW. CESPE A tecnologia de DW tem como objetivos a extração eficiente, o processamento e a apresentação analítica de dados para suporte à decisão gerencial. Essa tecnologia utiliza o online analytical processing (OLAP) para a análise de dados complexos. 10 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Estrutura do Data Warehouse - Kimball: • Sistemas operacionais de origem ▪ São considerados externos ao DW porque não existe pouco ou nenhum controle sobre o conteúdo e o formato dos dados. ▪ As principais propriedades desse sistema são o desempenho e a disponibilidade de processamento. • Data Staging Area (DAS): ▪ Parte do Data Warehouse responsável por receber a extração, transformação e carga (ETL) das informações dos sistemas transacionais legados, para posterior geração dos Data Marts de destino. ▪ A Staging Area é considerada área fora do acesso dos usuários, por isso não deve suportar consultas dos Usuários. ▪ Ela pode ser composta por arquivos textos ou tabelas de banco de dados normalizadas. ▪ Aqui é definido o processo de obtenção dos dados que seque os seguintes passos: 1. Extração para o Staging Area 2. Transformações • Filtragem dos dados • Combinação dos dados • Cancelamento de dados duplicados 3. Carga 11 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP • Data Presentation Area (Apresentação dos Dados) ▪ Área responsável pela apresentação dos dados, não deve ser utilizada para limpeza ou transformação de dados. ▪ Organizada em Data Marts, orientados a processos de negócios, e não a unidades de negócio, departamentos ou funções específicas. ▪ Um Data Mart é composto por dados atômicos e dados sumarizados para uma melhor performance. • Data Access Tools (Ferramentas de acesso a dados) ▪ O último componente principal do ambiente de DW. ▪ O termo ferramenta refere-se à variedade de recursos com que usuários de negócio podem contar para melhorar a tomada de decisões analítica. - Dois conceitos importantes e complementares: • Metadados ▪ Refere-se a todas as informações no ambiente de data warehouse que não são os dados propriamente ditos. ▪ Esses metadados estão presentes em cada um dos componentes do DW. ▪ Por exemplo, nos ambientes operacionais conhecidos com dicionário de dados e no Staging Area para orientar os processos de transformação e carga. ▪ O objetivo é cercar, catalogar, integrar e melhorar as diversas variedades de metadados. • Armazenamento operacional de dados ▪ Também conhecido como ODS (Operational Data Store). ▪ Os ODS são cópias bastante integradas e frequentemente atualizadas de dados operacionais. ▪ A frequência de atualização e o nível de integração de um ODS dependem das exigências especificas. ▪ O ODS pode ser um terceiro sistema físico localizado entre os sistemas operacionais e o DW ou uma partição automática especialmente administrada do DW propriamente dito. 12 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP - INMON: - Inmon defende a idéia de que o ponto de partida seriam os CIF - Corporate Information Factory – uma infra-estrutura ideal para ambientar os dados da empresa. - Características únicas do CIF: • Mandatário, estrutura de dados normalizadas, resultantes do processo de ETL, porém estruturas dimensionais somente para dados sumarizados. • Usuários têm acesso aos dados detalhados nas estruturas normalizadas. • Enterprise Data Warehouse (EDW) serve para consultas e para geração dos Data Marts. 13 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Ciclo de Vida do Data Warehouse - Abordagens de desenvolvimento de data warehouse 14 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Tipos de DW Data Mart - Um data warehouse une bancos de dados de toda uma empresa; - Já um data mart normalmente é menor e se concentra em um assunto ou departamento específico. - Um data mart é um subconjunto de um data warehouse, que normalmente consiste em uma única área temática. - Em geral são voltados para um subconjunto da organização, como um departamento, e possuem um foco mais estreito. - Um data mart é especializado e volátil. • Por especializado entende-se que o data mart (ferramenta OLTP) possui uma estrutura baseada em um ambiente, tema, situação, área, setor ou aplicação específica, enquanto o DW (ferramenta OLAP) se baseia em várias fontes de diversas aplicações, fontes e situações para facilitar um suporte a decisão gerencial. • Por volátil, entende-se que os dados do data mart são alterados frequentemente, enquanto os do DW, por guardarem histórico, só são alterados quando uma carga foi feita de forma errada, mas não frequentemente como em um data mart (que é baseado em aplicações) FCC As principais distinções entre um data mart e um data warehouse são as de que um data mart é especializado e volátil. As estruturas de dados, remodeladas com o objetivo de prover análises dimensionais, são denominadas: Data Warehouse e Data Mart. Data Mart é um subconjunto de informações do DW que podem ser identificados por assuntos ou departamentos específicos. Data Store Operacionais (ODS) - Um data store operacional (ODS) proporciona uma forma de arquivar informações recentes para consumo (customer information file – CIF). - ODS ou Staging Area (SA) representa um armazenamento intermediário dos dados, promovendo a integração dos dados do ambiente operativo antes de sua atualização no DW. 15 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP - Inicialmente, um ODS era considerado um repositório temporário que armazenava apenas informações correntes antes de serem carregadas para o DW, similar a uma cópia dos ambientes de sistemas transacionais em uma empresa. - Atualmente, alguns autores passaram a denominá-lo Dynamic Data Storage (DDS). FCC No âmbito dos DWs, uma outra concepção do ODS (Staging Area) está sendo estabelecida por alguns autores. Trata-se de Dynamic Data Storage (DDS). No âmbito dos DWs, representa um armazenamento intermediário que facilita a integração dos dados de ambiente operativo antes da sua atualização no DW. Trata-se de ODS. EDW – Enterprise Data Warehouse − É um DW de larga escala usado pela organização como um todo. − Congrega informações de diversas fontes de dados. 16 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Modelagem Multidimensional - A modelagem multidimensional é um sistema baseado em recuperação que suporta acessos com alto volume de consultas. CESPE A representação multidimensional dos dados, junto com todos os agregados, é conhecida como cubo de dados, sendo este uma generalização do que é conhecido na terminologia estatística como tabulação cruzada. - Na modelagem dimensional (ou multidimensional) temos 2 tipos principais de tabelas: • Tabela Fato e Tabela Dimensão. - Tabela Fato • Servem para o armazenamento, medidas numéricas associadas a eventos de negócio. • Tabela central do projeto dimensional. • Armazena medições numéricas do negócio. • Possui chaves de múltiplas partes. • Cada chave é uma chave externa para uma tabela de dimensão. • Cada uma das medições é obtida na interseção de todas as dimensões. • Em consultas a tabela de fatos são usados centenas, milhares ou até milhões de registros para a construção da resposta. - Tabela Dimensão • Representa entidades de negócios e constituem as estruturas de entrada que servem para armazenar informações como tempo, geografia, produto, cliente, etc. • Consiste em tuplas de atributos da dimensão. • As tabelas dimensão têm uma relação 1:N com a tabela fato. - A tabela de fatos contem os dados, e as dimensões identificam cada tupla nesses dados. 17 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP FCC Um dos modelos mais utilizados no projeto e implementação de um data warehouse é o modelo dimensional ou multidimensional. Em um modelo dimensional (composto por uma tabela fato e várias tabelas dimensão), a tabela fato deve conter atributos numéricos, visando proporcionar dados para uma análise de atividades da empresa. - Medidas • Aditivas: São as mais frequentes e são obtidas por meio da soma de valores gerados pela seleção de membros das dimensões. Exemplo: lucro líquido; • Semi-aditivas: São medidas obtidas a partir da soma de apenas partes de suas dimensões. Exemplo: quantidade em estoque (não faz sentido somá-la através da dimensão tempo); • Não-aditivas: São medidas que não podem ser somadas através de nenhuma de suas dimensões. O exemplo mais comum desse tipo de medidas são valores percentuais. - Dimensão • Representação dos contextos relevantes para a análise de um fato. • Exemplo: ▪ Fato: Vendas. ▪ Dimensões: Clientes, Produtos, Tempo, Locais, ... • Uma dimensão pode conter membros; ser organizada em hierarquias. 18 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP - O grão (granularidade) • Define o nível mais alto de detalhes suportado. • Ele indica se o data warehouse é altamente resumido ou se também inclui dados detalhados sobre transações. • Se o grão for muito alto, o warehouse pode não admitir solicitação para fazer drill down nos dados. • Um baixo nível de granularidade resultará em mais dados armazenados no warehouse. - Visualização • Uma visão multidimensional é usualmente representada por um cubo. ▪ Adequado à visualização de até 3 dimensões. • Análise tridimensional é bastante utilizada. • Hipercubo: cubo com mais de 3 dimensões. 19 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Esquemas Multidimensionais - Esquema Estrela (Star Schema) • Consiste em uma tabela de fatos com uma única tabela para cada dimensão. • Abordagem que recomenda a não normalização das tabelas dimensão FCC O modelo estrela, como estrutura básica de um modelo de dados multidimensional, possui uma configuração típica composta de uma entidade central fato e um conjunto de entidades dimensões. A organização dos data warehouse em tabela de fato e tabelas de dimensão relacionadas, é característica do esquema estrela. Na formação do modelo multidimensional de um DataWarehouse é usada basicamente uma correlação entre tabelas de fatos e dimensões. Na abordagem Star Schema, usada para modelar data warehouses, os fatos são representados na tabela de fatos, que normalmente é única em um diagrama e ocupa a posição central. Uma das formas de apresentação de um banco de dados multidimensional é através do modelo estrela. No centro de um modelo estrela encontra-se a tabela de fatos e, ao seu redor, as tabelas de dimensões. Em um Star Schema de um Data Warehouse – DW, a tabela Dimensão possui característica descritiva dentro do DW. Ela qualifica as informações provenientes da tabela Fato; A tabela Fato possui característica quantitativa dentro do DW. A partir dela são extraídas as métricas que são cruzadas com os dados das Dimensões. Dimensões são ligadas diretamente a tabela Fato. Outra característica marcante é que os dados são desnormalizados. 20 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP CESPE Em um sistema OLAP, as estratégias de desnormalização de tabelas e a redundância de dados são requerimentos para a otimização de consultas. A estratégia star schema relaciona uma tabela-fato a diversas tabelas-dimensões. O modelo de dados é capaz de gerar um cubo OLAP que possui quatro dimensões. - Esquema Flocos de Neve (Snowflake) • É uma variação do esquema estrela em que as tabelas dimensões de um esquema estrela são organizadas em uma hierarquia ao normalizá-las. • Abordagem que recomenda a normalização das tabelas dimensão. FCC A normalização das tabelas de dimensão em um star schema conduz a um: esquema snowflake. 21 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP No contexto das consultas a bancos de dados de esquema em estrela e supondo que os acessos a tabelas de dimensões e o acesso subsequente à tabela de fatos estejam todos incorporados em uma mesma consulta, é mais adequado o uso de junção em estrela que é uma estratégia específica de implementação de junção, a qual difere das demais estratégias pelo fato de começar deliberadamente pelo cálculo do produto cartesiano das tabelas de dimensões. CESPE Os esquemas em estrela e em flocos de neve são dois modelos multidimensionais comuns. Dadas as suas características, o modelo em flocos de neve aumenta a redundância de dados e, por isso, aumenta o espaço utilizado em disco. Comentário: No modelo de flocos de neve acontece a normalização das tabelas e consequentemente a redundância é eliminada. O snowflake, uma variação do esquema estrela, é um esquema multidimensional no qual as tabelas dimensionais, por meio da sua normalização, são organizadas em uma hierarquia, de modo que nem todas as dimensões sejam ligadas diretamente à tabela fato que armazena as medidas, usualmente numéricas. Um modelo multidimensional organizado segundo o esquema floco de neve tende a suportar um maior número de níveis de agregação que um modelo organizado segundo o esquema estrela. Dessa forma, quanto mais hierarquizada e complexa for uma organização, mais se justifica o uso do primeiro esquema. - Constelação de Fatos • É um conjunto de tabelas fatos que compartilham algumas tabelas dimensão. FCC Estrela e Snowflake são modelos fortemente associados à estrutura de um banco de dados multidimensional. 22 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Para projetar um datawarehouse, a primeira atividade da modelagem dimensional deve ser definir: a granularidade. CESPE Em uma modelagem voltada para o data warehouse, as dimensões possuem a própria granularidade, contudo ela não pode ser menor que a granularidade da tabela fato. Assim, é possível aplicar nível dual de granularidade a um data warehouse. Processo de ETL − ETL é o acrônimo para as palavras inglesas extract, transform e load, ou seja, extração, transformação e carga. o De forma simples e direta, o ETL é o processo para obter o dado, ajustá-lo, para melhorar a qualidade da informação, e colocá-lo em um ambiente para consumo. o Embora o ETL seja geralmente explicado como três etapas distintas, isso na verdade o simplifica muito, pois é realmente um processo amplo que requer uma variedade de ações. − A popularidade do ETL aumentou pela primeira vez na década de 1970, quando as organizações começaram a usar vários bancos de dados para armazenar suas informações. o Ele rapidamente se tornou o método padrão para pegar dados de fontes separadas, transformá-los e carregá-los em um destino. o Algumas décadas depois, os data warehouses se tornaram a próxima grande novidade, fornecendo um banco de dados distinto que integrou informações de vários sistemas. − Para acomodar nosso mundo em constante mudança de tecnologia digital nos últimos anos, o número de sistemas de dados, fontes e formatos aumentou exponencialmente, mas a necessidade de ETL permaneceu tão importante para a estratégia de integração de dados mais ampla de uma organização. 23 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP − Na sequência, segue uma figura ilustrativa com as principais ações que acontecem no processo ETL: Etapas de ETL − Em geral, o processo de ETL é realizado em três etapas integradas, são elas: − Extração o A primeira etapa do ETL é a extração. o Nesta etapa, os dados são identificados e extraídos de uma ou mais fontes (arquivos, planilhas, banco de dados). o Geralmente, não é possível identificar o exato conjunto de interesse, assim mais dados do que é necessário podem ser extraídos, para garantir que aquilo que é essencial esteja no conjunto de dados obtido. o O volume de dados extraídos, bem como o intervalo de tempo entre as extrações, pode variar muito, dependendo dos requisitos e das necessidades do negócio, definidos na etapa inicial do trabalho (planejamento). o Algumas extrações consistem em centenas de kilobytes (KB) até gigabytes (GB). 24 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP o A extração de dados normalmente ocorre de três maneiras: 1. Notificação de atualização • O sistema notifica quando um registro é alterado. • Normalmente, isso é conhecido como o método mais fácil de extração. 2. Extração incremental • Alguns sistemas podem não fornecer notificações de atualizações, portanto, eles identificam quando os registros foram modificados e fornecem uma extração desses registros específicos. 3. Extração completa • Alguns sistemas não são capazes de identificar quando os dados foram alterados, então a única maneira de retirá-los do sistema é recarregar tudo. • Isso geralmente é recomendado apenas para pequenas quantidades de dados como último recurso. − Transformação o A próxima etapa do processo de ETL é a transformação. o Esta transformação de dados pode incluir diversas operações para melhorar sua qualidade, tais como: ▪ Limpeza, junção com outro conjunto de dados, validação de formato e/ou, até mesmo, geração de novos dados, a partir dos dados preexistentes. − Carga o É a etapa final do processo. o Consiste em colocar o dado transformado no local de destino. ▪ Esse destino pode ser um banco de dados ou um data warehouse. o A carga pode ser completa ou incremental. ▪ A completa geralmente ocorre quando os dados são carregados de uma só vez. ▪ Já a incremental ocorre em intervalos regulares - os dados novos vão gradativamente complementando os dados recebidos anteriormente. Benefícios do ETL − Transforma dados de várias fontes e os carrega em vários destinos; − Fornece um contexto histórico profundo para empresas e organizações; − Permite que as organizações analisem e relatem dados de maneira mais eficiente e fácil; 25 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP − Aumenta a produtividade à medida que move rapidamente os dados sem exigir as habilidades técnicas de ter que codificá-los primeiro; − Evolui e se adapta às mudanças nas diretrizes de tecnologia e integração. FCC O estágio de transformação no processo ETL deve ser capaz de selecionar determinadas colunas (ou nenhuma) para carregar; transformar múltiplas colunas em múltiplas linhas; traduzir e unificar códigos heterogêneos de um mesmo atributo, oriundos de diversas fontes de dados (tabelas). Um processo importante que ocorre em relação à formação de um data warehouse é a obtenção dos dados de uma ou mais bases de dados da origem. Deve ser rigoroso para evitar a deformação e/ou a perda dos dados quando passados da fonte original para o destino. Trata-se de ETL. No processo ETL de um data warehouse: (I) a tradução de valores codificados conhecida como limpeza de dados (por exemplo, supondo que o sistema de origem armazena 1 para sexo masculino e 2 para feminino, mas o data warehouse armazena M para masculino e F para feminino) e (II) a geração de valores de chaves substitutas (surrogate keys) são integrantes da etapa de transformação. O processo ETL é uma etapa importante no projeto de um data warehouse. No processo ETL, um intervalo possível para a carga periódica de dados no data warehouse é de 24 horas. O processo de ETL em uma Data Warehouse possui várias fases. Em uma destas fases é efetuada a extração dos dados dos sistemas de origem. CESPE As ferramentas de software ETL (extract transform load) têm como função a extração de dados de diversos sistemas, a transformação desses dados de acordo com as regras de negócio e a carga dos dados em um data mart ou um DW. Na construção de um data warehouse, o processo extract, transform and load (ETL), normalmente, é o menos crítico e o mais rápido. Esse processo envolve a extração dos dados, na sua transformação, e, eventualmente, influencia na limpeza desses dados. Durante o ciclo de vida de uma datawarehouse, as operações de extração, transformação e carga, coletivamente chamadas de staging, são realizadas antes das operações de sumarização, categorização e indexação. A construção de um data warehouse envolve primordialmente um processo de extração, transformação e carga de dados, que normalmente tem origem nas bases de dados dos sistemas que estão ou estiveram em operação. 26 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Processamento Analítico Online (OLAP) - OLAP - On-Line Analytical Processing • Recurso que permite manipular e analisar grandes volumes de dados sob múltiplas perspectivas. (Laudon&Laundon) • Basicamente os produtos de OLAP oferecem recursos de modelagem, análise e visualização de grandes conjuntos de dados, ou para sistemas de gerenciamento de banco de dados (SGBD) ou, mais frequentemente, para sistemas de data warehouse. - Ligação do DW e OLAP • O DW é utilizado para armazenar informações e o OLAP para recuperá-las, ambos são especializados para exercer suas funções de forma eficiente. • As duas tecnologias são complementares de modo que um bom DW é planejado com produção de relatórios em mente. • Desta forma, para explorar o DW completamente é necessário o OLAP que irá extrair e alavancar totalmente as informações nele contidas. - Ligação do Data Mining e OLAP • O OLAP e Data Mining são partes integrantes de todo e qualquer processo de suporte à decisão. • Ainda, nos dias de hoje, a maioria dos sistemas de OLAP tem o foco no provimento de acesso aos dados multidimensionais, enquanto os sistemas de Data Mining lidam com a análise de influência para os dados de uma única dimensão. Sistemas Transacionais (OLTP) x Sistemas Analíticos (OLAP) - OLTP • O OLTP (On-line Transaction Processing) captura as transações de negócios de um sistema e armazena no banco de dados. • Esse tipo de base é utilizado em sistemas que registram pequenas transações (INSERT, UPDATE, DELETE) realizadas em tempo real e que ocorrem constantemente e de forma rápida. • Os dados também podem ser alterados. • Por não salvar histórico dos dados, isso não o qualifica como uma base de dados ideal para ajudar na tomada de decisões. • Também é uma base que necessita de backup regularmente, pois caso o banco de dados seja perdido os dados não podem ser reaproveitados. 27 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP • O principal objetivo da modelagem relacional em um sistema OLTP é eliminar ao máximo a redundância, de tal forma que uma transação que promova mudanças no estado do banco de dados, atue o mais pontualmente possível. • Com isso, nas metodologias de projeto usuais, os dados são fragmentados por diversas tabelas (normalizados), o que traz uma considerável complexidade à formulação de uma consulta por um usuário final. • Por isso, esta abordagem não parece ser a mais adequada para o projeto de um data warehouse, onde estruturas mais simples, com menor grau de normalização devem ser buscadas. (KIMBALL,2002) - OLAP • O OLAP (On-line Analytical Processing) oferece uma alternativa diferente. • Voltado para a tomada de decisões, proporciona uma visão dos dados orientado à análise, além de uma navegação rápida e flexível. • O OLAP recebe dados do OLTP para que possa realizar as análises. • Essa carga de dados acontece conforme a necessidade da empresa. • Sendo um sistema para tomada de decisões, não realiza transações (INSERT, UPDATE, DELETE) pois sua finalidade são consultas. • Possui dados atuais e históricos e não há necessidade de backups regularmente, sendo que ele possui informações do OLTP. • Caso algo aconteça com a base OLAP basta fazer uma carga novamente. - O nível operacional e o nível administrativo (vendas, compra, RH, etc.) utilizam OLTP para operações que ocorrem no dia-dia da empresa. - O nível de conhecimento e o nível estratégico da empresa (os administradores, por exemplo) utilizam o OLAP para as tomadas de decisões e assim traçar um planejamento estratégico. CARACTERÍSTICAS Operação Típica Telas Nível de Dados Idade dos Dados Recuperação Orientação Modelagem Natureza dos Dados OLTP Atualização Imutável Atomizado Presente Poucos registros Registro Processo / Aplicação Permite atualizações contínuas OLAP Análise Definida pelo Usuário Altamente Sumarizado Histórico, Atual e Projetado Muitos registros Arrays Assunto Dados históricos, sumariados e integrados 28 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP FCC Os sistemas OLAP materializam seletivamente as visões estratégicas a fim de alcançar respostas rápidas às consultas. Uma das fórmulas utilizadas em relação às visões é a fórmula de Cardenas que se aplica à estimativa do número de linhas em uma visão. No contexto de Business Intelligence, os sistemas OLAP e OLTP se diferenciam em diversas características. Na tabela abaixo, no que diz respeito às características, está CORRETO: Característica Performance OLAP Otimização para leitura e geração de análise e relatórios gerenciais. Tipo de permissões nos dados É permitido apenas inserção e leitura. Para o usuário está disponível apenas a leitura. Armazenamento feito em Data Warehouse com otmização no desempenho em grandes volumes de dados. Dados históricos e não voláteis que praticamente não sofrem alterações salvo em casos específicos motivados por erros ou inconsistências. Estrutura de dados Volatilidade OLTP Alta velocidade na manipulação de dados operacionais, porém ineficiente para geração de análises gerenciais. Podem ser feitas leitura, inserção, modificação e exclusão de dados. Armazenamento feito em bancos de dados convencionais pelos sistemas de informação da organização. Dados voláteis, passíveis de modificação e exclusão. As ferramentas OLAP (On-line Analytical Processing) são capazes de analisar grandes volumes de dados, fornecendo diferentes perspectivas de visão e auxiliando usuários na sintetização de informações. 29 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP CESPE A funcionalidade de uma ferramenta OLAP é caracterizada pela análise multidimensional dinâmica dos dados, apoiando o usuário final nas suas atividades e permitindo consultas ad hoc. Diferentemente de datamining, que não possibilita a interação do usuário na busca por informações úteis, o OLAP permite ao usuário extrair informações de um data warehouse ou de um datamart, de forma customizada e interativa. Os modelos de dados produzidos por ferramentas OLAP tendem a oferecer uma visão mais hierárquica e navegável de um banco de dados que os modelos de dados produzidos por ferramentas CASE relacional. A característica principal dos sistemas OLAP é permitir uma visão conceitual multidimensional dos dados de uma empresa. A visão multidimensional é muito mais útil para os analistas que a tradicional visão tabular utilizada nos sistemas de processamento de transação. O uso de tecnologias e de sistemas OLAP e datawarehouse é mais justificável no nível estratégico que no nível operacional. Operações OLAP - Em modelos multidimensionais, como próprio nome sugere, os dados são organizados em múltiplas dimensões. - Cada uma delas contém múltiplos níveis de abstração. - Esses níveis são, ainda, definidos pelo conceito de hierarquia. - Essa organização provê ao usuário uma flexibilidade para observar os dados a partir de diferentes perspectivas e em diferentes níveis de detalhe. - Graficamente, esses modelos podem ser representados por meio de um cubo. - As operações sobre um cubo de dados nos permitem materializar diferentes perspectivas (também conhecidas como visões), permitem consultas e análises interativas sobre dados armazenados. - Roll Up ou Drill Up • Os dados são resumidos com generalização cada vez maior; • É o contrário do Drill Down; • Aplica uma agregação sobre o cubo de dados. • Ocorre quando o usuário aumenta a granularidade, diminuindo o nível de detalhamento da informação; • Por exemplo: Semanal para Trimestral para Anual. 30 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP FCC A funcionalidade pré-programada de resumir os dados, com generalização crescente, oferecida pelas aplicações por meio das ferramentas de construção de data warehouses é denominada Roll up. No modelo de dados multidimensional existem as operações suportadas pelas ferramentas OLAP para permitir a análise dos dados. Com relação a estas operações, considere os dados abaixo. Para movimentar a visão dos dados ao longo de níveis hierárquicos da dimensão tempo, saindo do que consta na Tabela 2 para o que consta na Tabela 1, um analista de TI deve utilizar a operação OLAP roll up. Passar de um nível mais baixo de agregação de dados para um nível mais alto. CESPE A técnica roll-up é a combinação de células de uma ou mais dimensões definidas em um cubo. - Drill Down • Níveis cada vez maiores de detalhes são revelados. • Ocorre quando o usuário aumenta o nível de detalhe da informação, diminuindo a granularidade. FCC Uma das operações básicas de OLAP que ocorre quando é aumentado o nível de detalhe da informação é: drill down. As consultas no star schema de um data warehouse podem ser feitas em maior ou menor nível de detalhe. Assim uma consulta mais detalhada das informações denomina-se drilldown. - Drill Accross • Definição 1: ▪ Executa uma consulta envolvendo mais de uma tabela fato. 31 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP ▪ Essa operação exige que os dois cubos tenham pelo menos uma das dimensões em comum. ▪ A ideia é você conseguir consultar as múltiplas tabelas fato e colocar o resultado em um único data set. • Definição 2: ▪ Ocorre quando o usuário pula um nível intermediário dentro de uma mesma dimensão. ▪ Por exemplo, a dimensão tempo é composta por ano, semestre, trimestre, mês e dia. o A operação Drill Across é executada quando o usuário passa de ano direto para trimestre ou mês. FCC Quando, em um modelo multimensional, o usuário pular um nível intermediário dentro de uma mesma dimensão, como por exemplo, sendo a dimensão tempo composta por ano, semestre, trimestre, mês e dia e o usuário pular de ano para mês, a operação executada corresponde a: drill across. Um usuário pode pular um nível intermediário dentro de uma mesma dimensão por meio da operação OLAP do tipo drill across. 32 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP - Drill Throught • Definição 1: ▪ As tabelas de drill-through permitem que você exiba, em tempo de consulta, os detalhes dos dados não sumarizados a partir dos quais uma célula de uma tabela ou uma seleção de células é sumarizada. ▪ A capacidade de drill-through permite as empresas acesso aos dados que não estão armazenados no servidor OLAP, fazendo-as acessíveis para os usuários finais das aplicações OLAP. ▪ Esses dados podem vir tanto do DW quanto das bases transacionais. FCC Numa aplicação de business intelligence, buscar uma informação fora da estrutura dimensional é possível com a operação: drill-through. • Definição 2: ▪ Ocorre quando o usuário passa de uma informação contida em uma dimensão para outra. ▪ Por exemplo: Inicia na dimensão do tempo e no próximo passo analisa a informação por região FCC Utilizando uma base multidimensional, o usuário passou da análise de informações sob a ótica da dimensão tempo para a visão sob a dimensão regional. A operação OLAP aí realizada foi drill throught. Quando, em um modelo multimensional, o usuário pular de uma informação contida em uma dimensão para outra como por exemplo, da dimensão tempo para a dimensão região, a operação executada corresponde a: drill trought. - Slice and Dice • Serve para modificar a posição de uma informação, trocar linhas por colunas de maneira a facilitar a compreensão dos usuários e girar o cubo sempre que tiver necessidade. • Slice: Redução do escopo dos dados em análise, além de mudar a ordem das dimensões. • Dice: mudando desta forma a orientação segundo a qual os dados são visualizados. 33 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP FCC Redução do escopo dos dados em análise, além da mudança de ordem das dimensões e consequentemente da orientação de acordo com a qual os dados são visualizados. Tratase da operação básica do OLAP slice and dice. Dice: Mudança de perspectiva da visão − extração de um subcubo. Slice: Corta o cubo mas mantém a mesma perspectiva de visualização dos dados. Redução do escopo dos dados em análise, além de mudar a ordem das dimensões (Slice), mudando desta forma a orientação segundo a qual os dados são visualizados (Dice). Slice é a operação que corta o cubo, mas mantém a mesma perspectiva de visualização dos dados. As ferramentas Online Analytical Processing − OLAP suportam análise de dados em um ambiente multidimensional no qual é possível estruturar logicamente os dados na forma de um cubo. Dentre os recursos disponíveis nessas ferramentas, há a operação dice, que extrai um subcubo do cubo original executando uma operação de seleção em duas ou mais dimensões. Na arquitetura OLAP, o módulo responsável por girar o cubo ou mesmo trocar linhas por colunas de modo a facilitar o entendimento do usuário para a análise da informação é chamado de slice and dice. Modificar a posição de um dado, passando de linha para coluna ou vice-versa. No modelo multidimensional, significa, de forma simplificada, a redução do escopo dos dados em análise, além de mudar a ordem da dimensões, mudando, desta forma, a orientação segundo a qual os dados são visualizados. Trata-se de: slice and dice. Uma das funcionalidades do OLAP, utilizada para realizar operações de projeção nas dimensões, compreende a extração de informações sumarizadas de um cubo de dados e extração de um "subcubo", a partir do valor de uma dimensão. Trata-se de slice and dice. 34 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP - Pivot ou Pivotiamento • Também conhecida como rotate ou rotação; • É uma operação de visualização que rotaciona os eixos de um determinado cubo, provendo uma visão alternativa dos dados. • A operação pivot (ou rotate) roda os eixos de um cubo para oferecer uma alternativa de visualização dos dados. FCC A mudança de uma hierarquia (orientação) dimensional para outra tem sua realização facilitada em um cubo de dados por meio de uma técnica chamada: pivoteamento. A troca de linhas por colunas em uma tabela e a rotação dos cubos de dados para mostrar uma diferente orientação dos eixos são funcionalidades de ferramentas de data warehouse do tipo pivot. A operação de mudar as dimensões usadas em uma tabulação cruzada é chamada de pivoting (pivoteamento). CESPE O pivoteamento ou rotação, técnica da modelagem de dados para data warehouse, permite mudança de uma hierarquia dimensional para outra em um cubo de dados, em que é exibida uma orientação diferente dos eixos do cubo. - Cross-Join • É usado para gerar um produto cartesiano entre os conjuntos passados como parâmetro. 35 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP FCC No âmbito dos DWs e OLAP, o processo onde se faz a junção dos dados e transforma-se as colunas em linhas e as linhas em colunas, gerando dados cruzados, é chamado de cross-join. − Rank o Ordena os membros de uma dimensão de acordo com algum critério. o Essa operação basicamente cria um ranking dos n maiores ou n menores itens em uma lista. o É possível ainda calcular as médias, o crescimento dos índices, a taxa de retorno interno, depreciação e funções estatísticas. o Os resultados dessas operações são tipicamente visualizados em uma forma de tabela cruzada (cross-tabular). − Nest-unnest o Redução das dimensões. − Slipt o Planificação das faces do cubo. − Push/Pull o Junção de valores Arquiteturas de Servidores OLAP - Logicamente, servidores OLAP apresentam aos usuários de negócio os dados multidimensionais de um Data Mart ou de um Data Warehouse, sem a preocupação de mostra como e onde os dados são de fato armazenados. - Todavia, a arquitetura física e a implementação de servidores OLAP devem considerar aspectos de armazenamento. - Arquitetura OLAP • Variam dependendo da forma como o armazenamento e o processamento de dados ocorrem. • Geralmente podemos identificar três níveis de dados: ▪ As fontes de dados (Data Sources) o São as fontes que provem dados para serem analisados. o Dependendo do produto OLAP pode ser um DW, um banco de dados legado, uma coleção de planilhas, ou ainda, uma combinação de todos. 36 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP o A habilidade do produto OLAP em trabalhar com várias fontes diferentes é importante. ▪ O servidor OLAP (OLAP Server) o Considerado o back-end de um sistema OLAP. o É ele que faz todo o trabalho de processamento (dependendo do modelo do sistema). o É nele que os dados efetivamente acessados são armazenados. o Diferentes filosofias governam a arquitetura dos servidores. o Em particular, as grandes características de um produto OLAP é se o servidor usa um banco de dados multidimensional ou um banco de dados relacional para armazenar os dados. ▪ A apresentação dos dados ou Interface do usuário (OLAP Customer) o São aqueles que fornecem aplicações de mineração de dados, mas também suportam a geração de resultados (gráficos, relatórios, etc.). - Classificação dos cinco tipos de servidores OLAP: • MOLAP (Multidimensional On Line Analytical processing); • ROLAP (Relational On Line Processing); • HOLAP (Hybrid On Line Analytical Processing); • DOLAP (Desktop On Line Analytical Processing); • WOLAP (Web On Line Analytical Processing). - MOLAP – Multidimensional OLAP Server • Apresenta como uma de suas limitações a possibilidade dos dados serem esparsos ocorrendo a chamada explosão de armazenamento de dados, ou seja, um imenso banco de dados multidimensional contendo poucos dados armazenados. • Estratégia pela qual são usados gerenciadores de banco de dados proprietários, com características de armazenamento especiais e ferramentas para tratamento dimensional de dados. • Embora disponha de propriedades especiais de armazenamento como matrizes esparsas, operações com array e indexações de bitmap, não oferece toda a gama de recursos encontradas num SGBDR. 37 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP FCC MOLAP é um mecanismo utilizado no âmbito dos bancos de dados multidimensionais. A forma clássica de OLAP que usa as estruturas de bancos de dados genericamente otimizadas para atributos e de forma que cada dimensão que vai ser agregada seja definida a priori denomina-se MOLAP. CESPE As funções especiais ROLAP (OLAP relacional) e MOLAP (OLAP multidimensional), as extensões SQL e os métodos de junção (join) são ferramentas que podem ser utilizadas para aumentar a eficiência das consultas em bases de dados multidimensionais. Soluções MOLAP possuem maior escalabilidade que ROLAP. Comentário: MOLAP tem baixa escalabilidade. ROLAP tem Alta escalabilidade. - ROLAP – Relational OLAP Server • É uma simulação da tecnologia OLAP feita em banco de dados relacionais que, por utilizar a estrutura relacional, possui a vantagem de não restringir o volume de armazenamento de dados. • Esse é um servidor intermediário que fica entra a base de dados relacional de back-end e as ferramentas de front-end. • Eles usam SGBDs relacionais ou relacionais estendidos para gravar e gerenciar os dados do DW, e um middleware OLAP para dar suporte os pedaços faltantes. • Oferece todas as vantagens de um SGBDR, porém exige um projeto cuidadoso do ponto de vista de desempenho, em que o excesso de tabelas normalizadas poderá comprometer a performance das buscas. 38 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP FCC A tecnologia OLAP feita em banco de dados relacionais que, por utilizar a estrutura relacional, possui a vantagem de não restringir o volume de armazenamento de dados é simulada pela arquitetura ROLAP. Uma aplicação OLAP, com os dados armazenados no modelo relacional e também com suas consultas processadas pelo gerenciador relacional, deverá ter sua arquitetura elaborada com o método ROLAP. Em termos de arquitetura OLAP, suas ferramentas podem ser implementadas de diversas formas, classificadas em cinco tipos. Um deles é o ROLAP, que é uma simulação da tecnologia OLAP feita em banco de dados relacionais que, por utilizar a estrutura relacional, possui a vantagem de não restringir o volume de armazenamento de dados. - HOLAP – Hybrid OLAP Server • ROLAP + MOLAP • Consegue combinar a capacidade e a escalabilidade das outras ferramentas OLAP com o desempenho superior dos bancos de dados relacionais. FCC A arquitetura HOLAP (Hybrid On-Line Analytical Processing), para aproveitar as vantagens de alta performance e de escalabilidade, combina as tecnologias ROLAP + MOLAP. CESPE MOLAP é uma arquitetura OLAP na qual os dados ficam armazenados em um banco de dados multidimensional. Nas arquiteturas ROLAP e HOLAP, são utilizados bancos de dados relacionais para armazenamento dos dados. - DOLAP – Desktop OLAP Server • Apresenta como vantagem a redução da sobrecarga no servidor de banco de dados uma vez que todo o processamento OLAP acontece na máquina cliente. 39 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP - WOLAP • Diferentemente das outras ferramentas utiliza a Web, facilitando assim, a distribuição da ferramenta, o acesso remoto dos dados a serem analisados e a utilização da aplicação independente de plataforma. 40 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP ERP – Sistemas Integrados de Gestão − ERP (Enterprise Resource Planing) ou Sistemas Integrados de Gestão. − É um processo que envolve planejamento e gestão dos recursos da empresa. − É uma solução que possibilita benefícios que vão desde o aumento da eficiência até o incremento da qualidade e da produtividade. − Principal Objetivo dos ERPs o Controlar, integrar e fornecer suporte aos processos de uma organização – operacionais, produtivos, administrativos e comerciais. o Integrar todos os departamentos e funções de uma organização em um sistema unificado de informática, com capacidade de atender a todas as necessidades da organização. o Por exemplo, uma melhor estruturação do recebimento de pedidos permite o acesso imediato ao estoque, dados dos produtos e histórico de crédito do cliente. Arquitetura de Sistemas ERP − Os ERP são divididos em quatro blocos: o Financeiro ▪ Exemplos de módulos: contabilidade, contas a pagar, contas a receber, fluxo de caixa. o Recursos Humanos ▪ Exemplos de módulos: folha de pagamento, gerenciamento de recursos humanos e controle de despesas de viagem. 41 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP o Operações e Logística ▪ Exemplos de módulos: gerenciamento de estoques, o MRP, o faturamento. o Vendas e Marketing ▪ Exemplos de módulos: processamento de pedidos, gerenciamento e planejamento de vendas. FCC Ao colaborar com a elaboração de um Termo de Referência para contratação de produtos e serviços de informática, um Técnico Judiciário de TI do TRF3 observou os seguintes requisitos gerais: A solução integrada e informatizada para gestão administrativa deverá ser adaptável à estrutura específica do Tribunal, estar em conformidade com a legislação pública, possibilitando a Execução Orçamentária e Financeira, Licitações e Contratos, Gestão de Frota, Gestão de Obras e Manutenção Predial, Gestão de Imóveis, Gestão de Compras, Gestão de Patrimônio, Gestão de Almoxarifado, Recursos Humanos, Relatórios Gerenciais, Gestão de Processos Administrativos, Extrajudiciais e Judiciais, com instalação centralizada na estrutura física do Tribunal e disponibilização de acesso via web, para uso por quantidade ilimitada de usuários por tempo indeterminado, devendo proporcionar as funcionalidades requeridas e definidas em capítulo próprio. 42 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal. Banco de Dados Business Intelligence (BI), Data Warehouse, Modelagem Multidimensional e ERP Pelas características de tais requisitos, o Técnico entendeu que se tratava Enterprise Resource Planning. Considere que determinada entidade integrante da Administração Indireta pretenda aprimorar seus processos de trabalho, redesenhando e otimizando os processos já padronizados, utilizando os conceitos de BPM − Business Process Management. Nesse contexto, uma das ferramentas disponíveis e consagradas no mercado, que pode ser utilizada para a automação dos processos de negócios da referida entidade é ERP − Enterprise Resource Planning. Uma filial utiliza um sistema ERP via conexão remota, uma vez que o sistema de gestão está instalado no Data Center da sede da empresa. Nesse cenário, são considerados atributo de objeto de medição, medida básica e medida derivada de resultados de TI, respectivamente: Disponibilidade da aplicação para o usuário; Total de horas de indisponibilidade; Média mensal de indisponibilidade. Em relação à implementação de um ERP numa empresa, um aspecto que pode, ao mesmo tempo, se constituir em vantagem e desvantagem do ERP, é a incorporação de melhores práticas nos processos internos da empresa. Otimiza o processo de tomada de decisão. Elimina o uso de interfaces manuais. 43 www.resumosdeti.com.br 2023, vedada, por quaisquer meios e a qualquer título, a sua reprodução, cópia, divulgação e distribuição, sujeitando-se os infratores à responsabilização civil e criminal.