Biml en Data Vault
Sander van der Hoeff
•
•
•
•
Microsoft BI Specialist
Zelfstandig
(trail)Runner
The Future Group =
Maatschap van ZZP'ers
Wat is Data Vault
Data Vault
• Architectuur voor Datawarehouse laag
• Schaalbaar
• Parallellisme wordt aangemoedigd
• Kan nieuwe domeinen absorberen
Core Components Data Vault
•
•
•
Hub = Business Key
Link = Verbinding Business Keys
Satellites = Attribute information
Wat is Biml
Business Intelligence Markup Language
From Wikipedia, the free encyclopedia
Business Intelligence Markup Language (Biml) is a domain-specific XML dialect for defining business intelligence (BI) assets. Biml authored BI assets can
currently be used by the BIDS Helper add-on for Microsoft SQL Server Business Intelligence Development Studio(BIDS) and the Varigence Mist
integrated development environment; both tools translate Biml metadata into SQL Server Integration Services (SSIS) and SQL Server Analysis Services
(SSAS) assets for the Microsoft SQL Server platform. However, emitters can be created to compile Biml for any desired BI platform.
While Biml’s declarative design is sufficient to author BI assets, BimlScript extends the language by enabling authors to embed C# orVB.NET code within Biml,
similar to how ASP.NET includes .NET code within static HTML markup.[3] BimlScript is used to merge changes into existing Biml assets, automatically
generate Biml code, and apply changes across multiple Biml files during compilation.
Waarom Generen
• Veel Tabellen
• Veel Packages
• Minder fouten
• Standaard Tabellen
• HULPMIDDEL, kan ook zonder
Waarom Genereren
Data Vault
Veel en
Standaard
Tabellen
Sounds Familiar?
Project
Project
Project
Project
Project
Project
Project
Project
Project
Project
Project
Project
Project
Project
Project
SRC
DWH
DMT
DMT
DMT
Opties tot genereren
• TSQL
• MIST (Varigence)
• BiXPress (Pragmatic Works)
• Quipu
• DWHDeck
• Others
SSIS vs tSQL
• Standaard Logging
• Standaard Monitoring
• Standaard Fout Afhandeling
Tables
• tSQL
• Metadata tabellen
• Ontstaan vanuit
Templates
Waarom Biml
• Gebruikt SSIS
• XML Based
• Exception Driven
• Open Source
• Geen Api kennis vereist
• Kennis van SSIS noodzakelijk
• BIDSHelper
Exception based
Bronlaag (Navision)
Per Bedrijf (1000+) een set van 3500 tabellen
Meerdere databases?
Partieel laden?
Hubs
• Meervoudige keys concateneren
• Naamgeving uniform door Views
• Een package voor alle hubs
• Serieel laden (niet Data Vault standaard)
Hubs
• meerdere bronnen
• Alles varchar
• Select key from order
• Select key1_key2 from Orderregel
• Onderhouds issue
Een package of package per Hub?
Links
• Naamgeving standaardiseren door views
• Een package voor alle links
• Niet parallel
Satellites
• Verschilvergelijking dmv Hashbytes
o In de package met een task of in een stored
procedure?
• Iedere satellite is verschillend
• Package per satellite
• Package is standaard op Attribuutvelden na
Datamart
• Transformatie tot Bussines logic
• Copy Paste
• View laag op DWH, een op een transfer van
data naar Datamart laag
DatamartPackage Biml
• Logging en config management ontbreken
Logging en Package
config toevoegen
Meer Lezen
http://bimlscript.com/
http://biml101.blogspot.nl/
http://varigence.com/