Data Architectuur
De technologische ontwikkelingen volgen elkaar razendsnel op. En voor je het weet is er een wildgroei aan data-oplossingen, die niet met elkaar samenwerken. Door met elkaar een duidelijke data architectuur te ontwikkelen wordt niet alleen wildgroei tegengegaan, maar worden ook kosten bespaart en kunt je sneller en beter de juiste data-architectuurkeuzes maken.
Data architectuur
en de data architect
Over een goede data architectuur wordt veel geschreven. Er is nagedacht over een data architectuur in een datawarehouse omgeving, maar ook bij Big Data en Artificial Intelligence (AI) wordt een toekomstvaste data architectuur steeds belangrijker. Je wordt om de oren geslagen met begrippen als big data, datalake, datalakehouse, datamodelling, data science en AI. Een goede data-architectuur zorgt ervoor dat de juiste investeringen worden gedaan en dat desinvesteringen juist worden voorkomen.
Een probleem dat zich voordoet wanneer er geen goede data architectuur is, is dat iedereen maar wat doet. Data integratie wordt lastig. De vraag is dan: hoe krijg je een gedragen data architectuur? Met big data en data science is dat nog relevanter geworden.
Als je nog geen geformaliseerde architectuur hebt, waar start je dan? Als er wel een architectuur is, dan is de kans groot dat er alleen een theoretisch plaatje is, dat (te) ver af staat van de werkelijkheid van de organisatie. Vaak ontstaan er discussies over gehanteerde begrippen, maar verstaat iedereen er iets anders onder. Denk aan een begrip als data science. De vraag is hoe ga je hier mee om?
Data architectuur is niet zozeer het juiste plaatje maken. Het moet een ‘enabler’/hulpmiddel zijn, om mensen in de organisatie een beter begrip te geven van data en hoe deze in de organisatie opgeslagen en gebruikt wordt, welke keuzes kunnen worden gemaakt en waar met elkaar aan gewerkt moet worden. Een senior data architect moet, net als een architect in de bouw, bezig zijn met het visualiseren van datgene wat de klant graag wil hebben. Hij geeft dus advies over wat er mogelijk is. Wat minstens zo belangrijk is, is dat een goede data architect niet iets voorschrijft, maar met een gefundeerd advies komt op basis waarvan een toekomstvast besluit kan worden genomen.
Dit behandelen we:
- Wat is data architectuur?
- Welke verschillende data architectuur modellen zijn er?
- Hoe kun je data architectuur valkuilen voorkomen?
- Hoe kan een goede data architectuur bijdragen aan de doelstellingen van de organisatie?
- Welke competities moet een senior data-architect hebben? En wat zijn de data architect rollen?
- Wat zijn data principes? (Data principes uitgelegd)
Wat is data architectuur?
Data architectuur uitgelegd
Eigenlijk gaat het hier om twee begrippen, data en architectuur. Architectuur komt eigenlijk uit de bouwwereld vandaan en is een wetenschap of kunst om een omgeving te ontwerpen (Wikipedia).
Enterprise Architectuur
In de jaren tachtig van de vorige eeuw is er een stroming ontstaan in de informatietechnologie om architecturen te gebruiken voor het bedenken, ontwerpen en visualiseren van ontwikkelingen om organisaties zich ‘in de gewenste richting te laten begeven. Dit vakgebied wordt wel aangeduid met enterprise architectuur.
Binnen Enterprise architectuur worden meerdere aspecten, ook wel lagen, onderkent. Het overkoepelende aspect is de basislaag, waarin onder meer algemene begrippen, organisatiestructuren en bedrijfsprocessen worden gemodelleerd. Dit is de eerste architectuur die we vaak tegenkomen in organisaties.
Infra Architectuur
Een tweede architectuur die we veel tegenkomen is de zogenaamde technologie architectuur, ook wel bekend als infra architectuur. Het gaat hier om de modellering van hardware, platformen, netwerken, besturingssystemen, databases en nog veel meer componenten. Vaak zijn dit soort architecturen wel in een organisatie aanwezig, zeker bij een ICT-afdeling van een organisatie.
Applicatie architectuur
De applicatie architectuur beschrijft de onderlinge samenhang tussen de verschillende applicaties en probeert in het ‘applicatie-oerwoud’ een heldere samenhang te vinden en een duidelijke functionele afbakening te realiseren tussen de verschillende applicaties en de daaraan gekoppelde functionaliteiten. Vaak komen dit soort architecturen om de hoek kijken wanneer het applicatielandschap te complex wordt om goed te kunnen worden onderhouden.
Complete Data Architectuur uitgetekend
Bekijk de video versie hier → Datawarehouse architectuur in 7 stappen uitgelegd
De betekenis van data architectuur
Relatief nieuw is de zogenaamde data-architectuur. Zo’n architectuur geeft niet alleen een beeld van data verzamelen, de data integratie, maar ook van data modelleren. Dit geeft een overzicht van de aanwezige en de benodigde gegevens in een organisatie. Deze gegevens worden in kaart gebracht door een proces dat informatieanalyse (data modelleren) wordt genoemd.
Dit proces brengt de informatiebehoefte in kaart van een organisatie, een afdeling, een leidinggevende en zelfs van de individuele medewerker. Op basis van die analyse wordt bepaald welke gegevens aanwezig zijn en wat waar vandaan wordt gehaald.
Daarbij wordt gebruik gemaakt van verschillende (schema) technieken om de data-architectuur weer te geven. Er zijn meer dan 15 verschillende schema-technieken die hier kunnen worden toegepast.
In een volgend hoofdstuk worden die verschillende data architecturen verder uitgediept.
Data architectuur in
7 stappen uitgelegd
In deze video gaan we over de componenten van een traditionele data architectuur. De DWH-architectuur wordt in 7 stappen uitgelegd, ook voor complete beginners is deze datawarehouse architecture tutorial goed te volgen.
Welke verschillende data architectuur modellen zijn er?
Voorbeelden van data architectuur modellen (examples)
Zoals al eerder is aangegeven is een data architectuur niet een data techniek of een data model. Er zijn er veel verschillende architecturen en het is verstandig om in een organisatie, als je met een techniek of model aan de slag gaat, altijd goed uit te leggen wat het doel van dit model is, wat het beschrijft en zeker ook waarom daarvoor gekozen wordt. Met de komt van data science, big data en steeds meer data integratie vraagstukken wordt het steeds belangrijker om een goede data modellen, maar vooral een integrale architectuur te hebben,
De verschillende datamodellen of data-technieken hebben een bepaalde samenhang en volgorde waarin je de verschillende data architectuur onderdelen tegenkomt.
Allereerst is er een onderscheidt te maken naar niveau waarop de architectuur beschreven wordt.
Data architectuur modellen op niveau
Business niveau
Hier wordt op conceptueel niveau de data architectuur beschreven. Denk bijvoorbeeld aan een definitie en beschrijving van business entiteiten.
Applicatie niveau
Op dit logische niveau wordt per applicatie aangegeven welke data-elementen er zijn, wat de definitie is en wat de samenhang tussen de elementen is. Denk hierbij aan bijvoorbeeld een logisch datamodel van een applicatie of een beschrijving/definitie van de in de applicatie aanwezige data elementen. Data modellen en meta data management zijn hier essentieel in.
Systeem niveau
Dit is de technische beschrijving van da data-architectuur. Denk hierbij aan zaken als het fysieke datamodel of de fysieke inrichting van de security.
Naast de niveaus kan ook nog gekeken worden naar welke ‘vraag’ of welk aspect je met deze architectuur wilt beschrijven. De volgende vijf worden onderkent:
1. Hoe zit het in elkaar?
In dit onderdeel wordt vooral de structuur beschreven. Denk bijvoorbeeld aan de structuur van data, het logisch datamodel, ook bij big data.
2. Het wat en hoe
In dit aspect wordt ingegaan op wat er is aan datacomponenten. Een voorbeeld hiervan is een business functiemodel voor data, als onderdeel van de data architectuur.
3. De definities
Definities zijn een belangrijk onderdeel van een goed ontwikkelde informatie architectuur. Een voorbeeld hiervan is zogenaamde ‘information glossary, ook wel meta data management genoemd.
4. Control is een ander aspect dat beschreven kan worden.
Een voorbeeld hiervan is data policy, die in een organisatie is beschreven of wordt getoetst bij uitvoering van een audit.
5. Documentatie is het laatste belangrijke aspect van een data-architectuur.
Hierin worden de data-architecturen gedocumenteerd en ter beschikking gesteld aan een organisatie. Een voorbeeld hiervan is de interface flow en data modellen.
Als je alle aspecten en niveaus aan elkaar koppelt, dan ontstaan er uiteindelijk 15 gebieden die gezamenlijk het totale gebied van de data architectuur beschrijven. Zoals je ziet een breed pallet aan onderwerpen. Het zou te ver voeren om deze nu verder in detail uit te werken en te beschrijven, maar heb je vragen over hoe dit op te zetten, wat voor jou nu prioriteit zou moeten hebben of wil je hulp bij het uitwerken van de architectuur, neem dan gerust contact met ons op via het contact formulier.
Goede data architectuur is een breed terrein en er is niet voor niets een apart hoofdstuk gewijd aan dit onderwerp, als het gaat om data governance. In het DAMA-DMBOK model is dit een aparte ‘taartpunt’.
Waarom aan data architectuur doen?
De vraag die altijd gesteld kan worden is: waarom zou je aan data architectuur moeten gaan doen? Op zich een valide vraag, die zeker door de business en het management, die minder dicht op de ‘data-organisatie’ zitten, worden gesteld.
Het is dan ook goed om tijdens de start van een data architectuur project, samen met alle betrokkenen, stil te staan bij wat er precies wordt gedaan, waarom aan deze architectuur moet worden gewerkt en vooral wat deze nieuwe architectuur in businesstermen oplevert.
Want goede data architectuur mag geen doel op zich zijn!
Het is best lastig om de data architectuur opbrengsten direct te vertalen in opbrengsten in euro’s. Maar toch zijn er voldoende ‘opbrengst-gebieden’ die kunnen worden benoemd als er gewerkt wordt aan een (integraal) data architectuurmodel.
De belangrijkste opbrengstgebieden zijn:
- Ondersteunt de communicatie, waardoor beter inzicht ontstaat bij alle betrokkenen
- Zorgt voor beter afgewogen besluitvorming. Werkt toe naar een toekomstvaste data architectuur.
- Minder discussie en dubbele investeringen, wat direct vertaald kan worden in besparing in tijd en geld.
- Minder discussie en dubbele investeringen, wat direct vertaald kan worden in besparing in tijd en geld.
- Minder ‘point oplossingen’ die een integrale benadering in de weg staan. Met een integrale kijk op data wordt procesoptimalisatie over een keten heen veel eenvoudiger.
De 9 valkuilen van data architectuur
Implementatie en gebruik van data architectuur in een organisatie gaan niet vanzelf. Er zijn veel valkuilen die je beter kunt voorkomen. Hieronder worden de belangrijkste genoemd.
1. Streven naar een onrealistische data architectuur
Een architectuur vervaardigen, die niet begrepen wordt of onrealistisch is voor de organisatie en die dus een doel op zich wordt. Denk aan alle data science projecten die vaak niet het beoogde resultaat behalen.
2. Data-architectuur zien als één architectuur
Data-architectuur zien als één architectuur in plaats van als veel componenten met ieder hun eigen doel.
3. De volledige focus leggen op tooling om de data architectuur vorm te geven
Zoeken naar softwarematige architecture-tooling om de architectuur vorm te geven en denken dat met die tooling alles vanzelf goed gaat werken.
4. De data architectuur maken op basis van trends
De data architectuur niet volledig vertalen naar het hier en nu, maar alleen een ideale ‘soll architectuur’ maken op basis van trends die zich nu op datagebied voordoen. Data science is zo’n trend.
5. Niet toewerken naar een integrale (data) architectuur
Niet komen tot een integrale (uitlegbare) architectuur, terwijl dat wel gewenst is.
6. De architectuur in één keer implementeren
Alles in een keer vervaardigen en presenteren, waardoor het niet begrepen wordt of een dusdanig groot kostenplaatje presenteren, dat deze architectuur implementatie niet meer te verantwoorden is. Om die reden zijn BI implementaties of data science projecten ook zo duur en duren ze erg lang.
7. Geen gemeenschappelijk definities hebben van de architecturen
Geen gemeenschappelijk definities hebben van de architecturen, waardoor de onderdelen en de samenhang tussen de data architectuur componenten niet begrepen wordt.
8. Een algemene of standaard architectuur kiezen
Een algemene architectuur kiezen, bijvoorbeeld die van Google of Microsoft en dan alles richten op die volledige architectuur, maar niet kijken naar wat de juiste architectuur onderdelen voor de organisatie moeten zijn. Zoek op data science en je krijgt tientallen architecturen waar je uit kunt kiezen.
9. De verkeerde data architect inhuren
Een (data) architect de architectuur laten maken, terwijl de architect niet in staat is goed op alle niveaus in de organisatie te communiceren, waardoor de architectuurplaat een doel op zich wordt.
Dit laatste lijkt misschien een vreemde valkuil, maar het komt vaak voor dat een data architect een zodanige structuur voorstelt, en daaraan vasthoudt, dat het de organisatie meer tegenwerkt dan dat het de organisatie echt helpt. Data- en data-enterprise architecten moeten uit hun abstracte toren komen en echt een inhoudelijke bijdrage gaan leveren aan de doelstellingen van de organisatie. Een data-architect moet misschien nog wel meer dan andere architecten de organisatie en zijn medewerkers aan de hand meenemen in deze nieuwe wereld van datagedreven werken, waarin data steeds meer een asset wordt.
Hoe kan data architectuur bijdragen aan de doelstellingen van een organisatie?
Enterprise architectuur en ook data architectuur staan niet op zichzelf. Ze moeten bijdragen aan de doelstelling van de organisatie. Data architectuur is vooral bedoeld om complexe structuren te vereenvoudigen en zichtbaar te maken voor iedereen in de organisatie. De data-architect neemt daarin de leiding.
Enterprise-architectuur en data-architectuur zijn modellen en de definitie van een model is dat het een ‘simplificering van de werkelijkheid is. Doe dus geen moeite om de werkelijkheid hierin proberen te plotten, maar gebruik het als een vereenvoudigd model dat gebruikt kan worden om zaken te visualiseren en uit te leggen. De (teken) methodiek is dus geen doel op zich, maar het moet organisaties, management en medewerkers helpen om het abstracte begrip van data en datastromen in organisaties beter te begrijpen.
Data architectuur is dan ook een hulpmiddel om ervoor te zorgen dat:
- de volgorde van besluitvorming beter zichtbaar wordt;
- bestaande of gewenste oplossingen beter in kaart kunnen worden gebracht en er inzicht komt in overlap tussen functionaliteit- en datagebieden;
- betere investeringsbeslissingen kunnen worden genomen op datagebied en dat desinvesteringen voorkomen worden;
- er een gemeenschappelijk kader is van waaruit overlegd kan worden. Het zorgt eigenlijk voor een gemeenschappelijk beeld en taal in een organisatie;
- data als asset in een datagedreven organisatie veel meer zichtbaar en hanteerbaar wordt gemaakt;
- duidelijk is/wordt hoe en waar (gestructureerde) data-uitwisseling plaatsvindt en aanknopingspunten biedt om data als asset te zien en de GDPR-doelstelling te formuleren, implementeren en te controleren;
- bij het maken van pakketkeuzes binnen dit domein en het opstellen van de requirements er nagedacht wordt over data en dat er later niet te veel proceskosten moeten worden gemaakt om data als integraal sturingsinstrument te kunnen gaan gebruiken.
Hoe kun je data architectuur praktisch introduceren binnen jouw organisatie?
Starten met een data architectuur project in een organisatie, samen met een data architect, is een lastige klus. Het is abstract, data is vaak een ver van hun bed show bij organisaties en de toegevoegde waarde van data is vaak lastig aan te tonen.
Binnen ICT-, BI- en informatiemanagement organisatieonderdelen is het gebruik van een data-architectuur nog wel uit te leggen en te begrijpen. De competenties van de medewerkers zijn vaak dat ze ‘modelmatig’ en abstract moeten kunnen denken. In de rest van de organisatie zijn die competenties vaak minder prominent aanwezig en ook niet altijd noodzakelijk. Waarom zouden een HR-medewerkers bijvoorbeeld modelmatig en abstract moeten kunnen denken. Dat werkt vaak juist tegen hen. Dus hoe hou je er rekening mee dat je bij veel organisatie onderdelen/afdelingen de stap moet maken naar medewerkers die dit niet doen.
Dit is misschien wel het belangrijkste (leermoment) hoe je praktisch en vooral succesvol data architectuur in een organisatie kunt introduceren. Dit kan bijvoorbeeld starten met het uitwerken van een data integratie vraagstuk.
Wil je succesvol data architectuur introduceren dan moet je beginnen met praktische voorbeelden die de organisatie direct kunnen helpen. Laat niet gelijk de samenhang zien tussen alle onderdelen. Het is belangrijk voor de data architect om dat te weten, maar niet noodzakelijk voor de business.
Neem voldoende tijd om het uit te leggen, soms meermalen, ga veel tijd en energie besteden aan het praten met key-personen in de organisatie en sluit aan bij hun belevingswereld. Voorkom dat je een begrip zo abstract maakt dat dit niet meer door de business herkend wordt.
Maak op basis van interviews en gesprekken een eerste tekening, die niet gelijk af en 100% goed hoeft te zijn. Maak iteraties, misschien niet voor de data architect maar juist wel voor de medewerkers en het management in de organisatie om de materie goed te kunnen begrijpen. Data architecten en medewerkers van ICT-afdelingen die geschoold zijn volgens de zogenaamde Inmon school hebben de neiging om alles direct en in samenhang te willen beschrijven. Dit kost veel tijd en levert op korte termijn minder op. Probeer een meer agile georiënteerde aanpak, die vaker gebruikt wordt door de aanhangers van de Kimbal-school. Geen van deze scholen is beter, het is maar net waar je als architect vandaan komt c.q. geschoold bent. Voor beide scholen geldt:
Sluit aan bij de organisatie en laat niet de organisatie aansluiten bij de modellen en denkwereld (school) van data architecten.
Pak de onderdelen op en vul zo, samen met de organisatie, de legpuzzel in. Help ze bij hun eigen ontwikkeling in denken op datagedreven werken en stimuleer hun datageletterdheid. Nog nooit heeft een data architect, die gelijk probeerde te krijgen, waarde toegevoegd. De data architect die inzichten verschaft waar de organisatie wat aan heeft, voegt wel waarde toe. Het is een continu proces dat samen met en vanuit de organisatie moet worden gestuurd.
Wil je meer horen over deze agile aanpak, waar niet voor maar vanuit en samen met de organisatie aan wordt gewerkt, neem dan gerust contact met ons op. Een eerste gesprek kan vaak al een verheldering geven en het proces aanmerkelijk versnellen.
Data architectuur komt op meerdere aspecten terug
Zoals al eerder besproken, is het hebben van een data architectuur geen doel op zich.
Of je aan data-architectuur gaat werken en welk van de aspecten je dan kiest om mee te beginnen of je verder mee te verdiepen in de organisatie, hangt enerzijds af van de vraag die de organisatie stelt en anderzijds van de volwassenheid van de organisatie zelf.
Hoe kun je een toekomstige architectuur maken zonder dat er een duidelijke datavisie is. Of hoe keur je een architectuur goed, zonder dat de data governance goed is ingeregeld. Welke ontwikkelingen zijn er op datagebied en waar in de organisatie is wie bezig met de keuze van een nieuwe data technologie?
Het IDAM-model
Het IDAM-mode (Integraal Data Analyse Model) helpt organisaties de samenhang te laten zien tussen de verschillende onderdelen/lagen die je in organisaties tegenkomt.
Architectuur speelt in veel van de lagen een cruciale rol om ideeën vorm te geven en inzicht te verschaffen in waar de organisatie op dat onderdeel nu staat en waar de organisatie naar toe wil. Denk aan vraagstukken als welke data integratie wil de organisatie realiseren, welke rol spelen data architecten daarin en war gaan we doen met data science?
Een organisatie is vaak niet op elk van de lagen even ver, als het gaat om de volwassenheid. Door van de verschillen in volwassenheid een duidelijk beeld te hebben is het voor de data architect veel beter mogelijk om een afweging te maken met welke architectuur hij/zij zou moeten beginnen of, misschien nog wel belangrijker, aan welk onderdeel hij/zij nog niet zou moeten beginnen, omdat dat te abstract of een brug te ver is voor een organisatie. Het kiezen van de juiste architectuurcomponenten en deze op het juiste moment aan de organisatie laten zien is essentieel om succesvol data-architectuur binnen een organisatie te introduceren en te implementeren. Dan wordt data architectuur een integraal onderdeel van de besluitvorming en misschien nog wel belangrijker van de bedrijfsvoeringsstrategie.
Wil je meer weten over het IDAM-model en het daaraan gekoppelde volwassenheidsmodel, lees hier dan verder.
Wil je meer leren over hoe je het integraal data analyse model
kunt toepassen op jouw organisatie?
Wat is de rol van een senior data architect (datawarehouse architect)?
In het domein van data-architectuur is één functie die een essentiële rol speelt en dat is de data architect. Deze senior data architect speelt een cruciale rol om, technisch gezien, de transformatie naar een datagedreven organisatie vorm te geven en te begeleiden.
Een datawarehouse-architect moet beschikken over een zeer gedegen technische kennis die hij/zij combineert met communicatieve vaardigheden en overtuigingskracht. De tijd dat de DWH-architect ergens ver weggestopt zat en alleen ‘aanspraak had aan een beeldscherm’ is echt voorbij.
Profiel van de moderne data architect/datawarehouse architect
De data architect moet heden ten dage beschikken over de volgende competenties:
1. Diepgaande kennis van data & BI-technologieën
Diepgaande kennis hebben van data en BI-technologieën en methodes rondom datawarehousing, ETL tooling, datalakes en machine-learning modellen.
2. Kennis van verschillende datascholen
Kennis hebben van uitgangspunten, aanpak van de verschillende concepten en datascholen en ook goed begrijpen hoe gestructureerde data moet worden verwerkt. Deze scholen verschillen sterk qua visie en aanpak en het is belangrijk dat de datawarehouse architect op elk van de gebieden de juiste keuzes maakt.
3. Sterke communicatieve vaardigheden
Hij/zij moet communicatief zeer sterk zijn en in staat zijn om in alle lagen van de organisatie met betrokkenen te communiceren zonder ‘te abstract’ te worden. Aangezien de data architect de spil is in de verandering naar een datagedreven organisatie zijn overtuigingskracht, doorzettingsvermogen en goede communicatieve vaardigheden essentieel om de rol succesvol in te kunnen vullen.
4. Zowel analytisch als praktisch zijn
Hij of zij is in staat om enerzijds abstract en sterk analytisch te denken, maar kan anderzijds ook zeer praktisch in de business de zaken uitleggen en gemaakte keuzes verantwoorden.
5. Diepgaande kennis over database-talen, relationele databases & Big Data databases
Hij/zij heeft diepgaande (technische) kennis over databasetalen, relationele databases en Big Data databases. Hij/zij heeft ook veel ervaring met datamodellen zoals sterschema’s, Data Vaults en snowflaking.
6. Leergierigheid
En misschien wel het belangrijkste hij/zij is leergierig. De ontwikkelingen op technologisch (data) gebied gaan zo snel dat wat nu ‘hot’ is over een paar jaar alweer als achterhaald voelt. Hoe blijft de architect bij qua kennis en valt hij niet in de valkuil om achteraan te lopen bij elke nieuwe trend die zich aandient. Denk bijvoorbeeld aan een trend als data science.
Vanuit die basis is de datawarehouse-architect in staat om organisaties te helpen om de dataoplossingen juist, veilig en privacyproof in een organisatie schaalbaar te implementeren.
De rol van data-architect wordt soms ook vervult door een Enterprise architect of een infra architect. Dit is niet onmogelijk, maar doordat deze vanuit een andere invalshoek kijkt, kan dat lastig zijn. De Enterprise- architect kijkt veel meer naar de organisatie als geheel en de daaraan gekoppelde processen, terwijl de infra-architect veel meer kijkt naar infrastructurele oplossingen zoals netwerken, servers en cloud oplossingen, lees hardware.
In sommige organisaties kom je de rol van data-architect niet alleen als zelfstandige rol tegen, maar zeker in de big datawereld, ook wel data driven wereld genaamd, is het vaak de data scientist die deze rol kan vervullen. Steeds vaker komt ook de functie van big data engineer om de hoek kijken, met name als het gaat om opslag en ontsluiting van data. De big-data-engineer is vaak de data architect die kijkt naar de opslag van niet gestructureerde data.
Opzoek naar een data architect?
Wil je graag eens doorpraten over jouw eigen data architectuur uitdagingen? Neem dan vrijblijvend contact op. We helpen je graag om samen met jouw organisatie succesvol de volgende stap te zetten.
Data principes, wat is het en hoe helpt het bij een gedragen data-architectuur?
In het vorige hoofdstuk is al duidelijk aangegeven dat communicatie over de architectuur essentieel is. Het vervaardigen van mooie, vaak abstracte, plaatjes is niet genoeg. Steeds meer komt men erachter dat het formuleren, uitwerken en vooral ook toetsen van dataprincipes helpt om de gehele organisatie meer datagedreven te maken.
De definitie van een (data architectuur) principe of een data principe is:
Architectuurprincipes zijn richtinggevende uitspraken die aangeven wat wenselijk is. Een architectuurprincipe kan worden gezien als een beleidsuitspraak die specifiek betrekking heeft op de inrichting van organisatie, processen en informatievoorziening.
Het helpt de organisatie om op een eenvoudige en eenduidige manier met de architectuur om te gaan. Een voorbeeld van zo’n principe is dat data maar een keer opgeslagen mag worden of dat elk data-element een eigenaar moet hebben.
Er zijn veel soorten principes, maar het zou te ver voeren om die hier verder uit te werken. In het DAMA DMBOK model wordt veel dieper ingegaan op de principes die er zijn voor elk van de aspecten van data governance.
Op zich is het formuleren van een principe nog redelijk eenvoudig, bijvoorbeeld data wordt maar op een plek opgeslagen, maar wat als klantgegevens nu in twee systemen voorkomen. Gooien we dan een systeem weg? Het formuleren van de consequenties is vaak veel belangrijker en ervoor zorgen dat deze beleidsuitspraken worden nageleefd is een nog grotere opgave. Dus ga je met principes werken, wat ik sterk aanbeveel, zorg er dan voor dat je de principes niet alleen formuleert, maar ook met elkaar de consequenties ervan aanvaard.
Door met principes te starten wordt vaak een goede stap gezet naar een gedragen datagedreven visie. Met data principes wordt enerzijds de visie verder uitwerkt en zorgen ze er anderzijds voor dat iedereen in de organisatie, lees business, deze visie ook kan begrijpen.
In een aantal workshops kan vaak al een goede start gemaakt worden met het formuleren van data principes. Intern is de ervaring in het formuleren van data principes vaak minder aanwezig. Denk je eraan om architectuurprincipes te gaan formuleren neem dan gerust contact met ons op om te kijken hoe we gezamenlijk dit proces kunnen versnellen.
Het meetbaar maken van data architectuur uitkomsten
Hoe maakt je data architectuur uitkomsten meetbaar en hoe bereken je de waarde ervan?
Architectuur laat zich slecht meten, ook in de bouw. Wat levert architectuur op? Het maak dingen helder en scherper, maar betekent dat dan ook dat je er kosten mee bespaart of dat het direct iets oplevert? Dat is jammer genoeg vaak niet aan te geven!
Architectuur en ook data architectuur moet gezien worden als een onderdeel om de organisatie te helpen meer datagedreven te worden en de vaak zeer abstracte begrippen als data, datageletterdheid en datalake voor de organisatie zichtbaar te maken.
Is het dan niet mogelijk of gewenst om het meetbaar te maken? Juist wel. Het advies is om kpi’s te maken die aansluiten bij de fase waarin de organisatie zich bevindt en daarop te gaan sturen. Een voorbeeld van een KPI is het aantal keren dat er een advies uitgebracht is. Een ander voorbeeld is het aantal uur per advies dat er nodig is of het aantal adviezen dat is opgevolgd. Ook kun je, meer subjectief, aan de business vragen welke bijdrage op een schaal van 1-10 de data-architect heeft toegevoegd in dit onderwerp.
Een data architect is essentieel om de datagedreven verandering vorm te geven. Investeer erin en wees zuinig op waar die vaak schaarse capaciteit wordt ingezet.
Moet de data architectuur open source zijn of niet?
Dit is een veel voorkomende discussie binnen organisaties. Het al dan niet gebruiken van open source software versus een groep die alleen maar met open source software wil werken.
Open source software is volgens de definitie van wikipedia, software waar een gebruiker niet alleen gratis gebruik van kan maken, maar waar hij ook als ontwikkelaar mee kan doen om de software verder te verbeteren. Er is nog meer over te zeggen, maar dat laten we hier achterwege. Een voorbeeld van deze software in het data domein is R of Python.
Tegenover Open source software staat closed software, waarbij er een leverancier is die voor jou de software ontwikkeld en deze als applicatie ter beschikking stelt. Je bent dan alleen gebruiker en betaalt de leveranciers een vergoeding, vaak een licentie genoemd. Voorbeelden in het datadomein zijn tools als:
1. Microstrategy
2. PowerBI van Microsoft
Het is onverstandig een fundamentele discussie te voeren over welke software beter is en op basis daarvan de toekomstige architectuur te gaan kiezen. Vanuit de meer traditionele BI-omgeving is er veel closed software aanwezig, die rijk is aan functionaliteit en al vele jaren bestaat.
Met de opkomst van Big Data, Machine Learning en Artificial Intelligence (AI) is het gebruik van open source software sterk veranderd. In die wereld is het gebruik van open source software juist gemeengoed geworden met bekende software-oplossingen als R en Python. Ook zijn er langzamerhand open source softwarepakketten ontstaan, die gebruikt worden in de meer traditionele BI-omgeving voor het ontwerpen en het gebruik van dashboard, zoals Kmine. Open source software is nu ook beschikbaar als ETL tooling om brondata te ontsluiten.
De traditionele closed software-organisaties zagen de trend naar steeds meer gebruik van open source software ontstaan. Ze proberen hierop in te spelen door het aanbieden van een hybride vorm, waarin de closed software werd opengesteld voor toepassingen uit de open source community in het Big Data domein, zoals het maken van machine-learning modellen.
Microstrategy is zelfs zover gegaan dat ze hun hele architectuur, volgens een API concept, opengesteld hebben voor ontwikkeling van nieuwe dashboards en applicaties.
Er is een sterke trend gaande om alle data architectuur onderdelen niet meer zelf in huis te gaan doen, maar ze naar de Cloud te brengen. Schaalvoordelen, meer rekenkracht en het sneller kunnen inspelen op ontwikkelingen op datagebied is daar de driver achter.
Grote partijen zoals Microsoft, Google en Amazon bieden platformen aan, waarmee snel een complete data architectuur up en running kan worden gemaakt. Ook grote partijen zoals Microstrategy gaan hierin mee. Waar het eerst maanden kostte om een BI architectuur up en running te krijgen, bijvoorbeeld om te wachten op de juiste server die beschikbaar was, is er nu de mogelijkheid om binnen een uur de complete omgeving binnen bijvoorbeeld een Amazon of Microsoft platform ter beschikking te stellen en er gelijk inhoudelijk mee aan de slag te kunnen.
Het is hier niet de vraag of er closed software of open source software gebruikt moet worden. Het is een hybride vorm waar maar een ding telt: welke tool is het beste voor mij als organisatie.
Moet de data architectuur zowel BI als AI ondersteunen?
Iedereen in de organisatie zou hier in principe natuurlijk ja op zeggen, maar de vraag is: is dat wel reëel?
Vaak is het voor een organisatie een uitdaging om een traditionele datawarehouse architectuur op te zetten, te onderhouden en de ontwikkelingen op architectuurgebied bij te houden. Toch zijn Big Data en zeker Machine Learning en Artificial Intelligence oplossingen nog zeker niet ingeburgerd. Deze zitten vaak nog in de pilot fase en opschalen naar een integrale oplossing die dagdagelijks in de business processen wordt gebruikt is erg lastig.
Het is duidelijk dat we uiteindelijk die kant op moeten. De ontwikkelingen gaan snel, maar we zijn er zeker nog niet. Moet je nu kiezen voor een gestructureerde datawarehouse oplossing of gaan we toch voor een ‘ongestructureerde’ oplossing als een datalake. Misschien bestaan ze wel naast elkaar en wordt het een soort datalakehouse oplossing. Het is lastig hier een eenduidige architectuur oplossing voor te stellen. Bij een datawarehouse wordt veel meer gedacht vanuit een zogenaamde model-driven aanpak. Terwijl bij een datalake het idee is dat het een datadriven aanpak is.
Misschien moeten we het daar nu maar niet over hebben en een stap dieper kijken. Welke opslagoplossing je ook kiest qua data architectuur, het allerbelangrijkste is dat de data van een juiste kwaliteit, ook wel datakwaliteit genoemd, is en dat voor iedereen duidelijk is wat de definitie van een dataelement is en wat er onder moet worden verstaan. Dat laatste wordt metadatamanagement genoemd. Zowel datakwaliteit als meta-datamanagement zijn onderdelen van data governance en moeten integraal worden benaderd.
Door op een integrale manier naar data te kijken, of die nu wordt gebruikt voor rapportages, model driven architectuur, of voor een meer exploratieve benadering van data, de data driven benadering, dat maakt niet uit. De bron met de daarbij behorende kwaliteit en definities moet in alle gevallen helder zijn.
Veel organisaties hebben daar nog een weg in te gaan en dit niet doen leidt tot discussies naar beide kanten, die de datagedreven organisatie niet vooruithelpt.
Het advies is dan ook: of het nu om BI- of om Big Data gaat, beschrijf het integraal (metadatamanagement) en stuur op de vereiste kwaliteit. Dan zorg je ervoor dat data echt de asset wordt binnen een organisatie en maakt het gebruik ervan niet uit!
Is data architectuur nog nodig als we toch naar de Cloud gaan?
De vraag die hier gesteld kan worden is: Als je toch kiest voor een Cloud leverancier, dan kies je toch ook al voor een bepaalde architectuur? Is het dan nog wel zinvol om een architectuur te maken? Kun je niet net zo goed de tekening van de Cloud leverancier overnemen en dan heb je de data architectuur!
Met de keuze voor een Cloudleverancier kies je natuurlijk voor bepaalde oplossingen en ben je meer beperkt. Maar dat wil niet zeggen dat je zondermeer alles over moet nemen. Vaak biedt de Cloud leverancier meerdere oplossingen aan voor diverse data vragen. De vraag is welke gebruik je en wat zijn de kosten. Dataverwerking binnen een Cloud oplossing is zeker niet gratis. Vooral niet als je veel data verwerkt en dit veel computercapaciteit vraagt.
Data architectuur gaat ook verder dan alleen een Cloudoplossing, waarin data is opgeslagen en wordt verwerkt tot dashboard of tot machinelearning modellen. Data zit ook in allerlei bronsystemen en die data ‘stroomt’ door de gehele organisatie. Om die reden alleen al is het onmogelijk om de architectuur van de Cloud leverancier zonder meer over te nemen.
Het is belangrijk dat de architectuur duidelijk maakt voor de organisatie waar welke data is opgeslagen, welke verwerkingen erop gedaan worden en welke producten en diensten aan de medewerkers van een organisatie of misschien zelfs aan de klanten worden aangeboden.
Het grote gevaar is, als er tussen Cloud leveranciers grote hoeveelheden data moet worden uitgewisseld, omdat iedere afdeling andere behoeften heeft en met verschillende Cloudleveranciers wil werken. Data-overdracht tussen leveranciers is vaak erg duur, kost tijd en voegt in essentie geen waarde toe. Geprobeerd moet worden om dit zoveel als mogelijk te voorkomen.
Data architectuur is noodzakelijk om jouw organisatie datagedreven te laten werken
We zien dat data architectuur een belangrijk aspect is om organisaties meer datagedreven te laten werken. Het helpt om beelden helder te maken en zorgt ervoor dat er integraal gekeken wordt naar data. Het krijgt een duidelijke positie naast de Enterprise- en ICT-architectuur.
Een data architectuur maak je met de organisatie
De data architectuur is niet een model maar bestaat wel uit meer dan 10 verschillende modellen. Het is belangrijk om niet alles tegelijk te doen, maar keuzes te maken die de organisatie verder helpt in datagedreven werken. Het succesvol implementeren van data-architectuur is lastig, brengt niet gelijk geld op en er zijn ook veel valkuilen die voorkomen moeten worden. Om data architectuur goed te introduceren binnen een organisatie moet je met een onderwerp aan de slag en niet alles tegelijk proberen in te voeren. Het help als het concreet gemaakt wordt voor de organisatie en niet te abstract wordt. Maak nooit een architectuur voor de organisatie, maar maak deze altijd met de organisatie.
De rol van de datawarehouse-architect verandert
De rol van data architect wordt belangrijk en die staat naast de rol van enterprise architect of infra architect. De data architect moet naast technische competenties ook beschikken over sterke communicatieve competenties om succesvol te kunnen zijn. Hij moet niet alleen de gestructureerde, model driven, wereld kennen, maar zeker ook in de ongestructureerde, data-driven wereld zijn mannetje weten te staan.
Met data principes naar een gedragen datagedreven visie
Als gewerkt wordt met data principes dan wordt het eenvoudiger om over data-architectuur te communiceren. Zorg ervoor dat het geen principiële discussie wordt tussen open source versus closed source. Tegenwoordig is het juist een hybride architectuur die organisaties verder helpt op het pad naar een meer datagedreven aanpak. Het moet een integrale architectuur zijn die zowel de gestructureerde vragen als dashboards ondersteunt alsook de mogelijkheid biedt om exploratief naar data te kijken.
De Data Architect maakt het verschil
Met data als de asset, die goed is beschreven en voldoet aan de gestelde data kwaliteitsnormen, zal een heldere data architectuur, vervaardigd moeten worden door een competente data architect. Deze architect helpt de organisatie om meer datagedreven te worden en adviseert bij het doen van de juiste investeringen in een data platform. De kwaliteitsnormen moeten worden geborgd, zodat het lekken van data wordt voorkomen.
Opzoek naar een Data Architect?
Wil je graag eens doorpraten over jouw eigen data architectuur uitdagingen of eens sparren met een data architect, vul dan dit formulier in en wij nemen geheel vrijblijvend contact met je op. We helpen je graag om samen met jouw organisatie succesvol de volgende stap te zetten.
