Datakwaliteit meten,
verbeteren en borgen
Hoge datakwaliteit vormt het fundament waarop zakelijke beslissingen worden genomen. Slechte datakwaliteit kan leiden tot 20% omzetverlies. In dit artikelen bespreken we de hoe je datakwaliteit kunt meten en dit kunt verbeteren in 4 stappen.
Wat is datakwaliteit?
De definitie van datakwaliteit
Datakwaliteit is de nauwkeurigheid, volledigheid en tijdigheid van gegevens. Het is belangrijk om over gegevens van hoge kwaliteit te beschikken, omdat ze van invloed zijn op zakelijke beslissingen, productontwikkeling en klantenservice.
Datagedreven werken begint met een hoge datakwaliteit
Een organisatie kan pas echt datagedreven werken als de data van hoge kwaliteit is. Goede data vormen het fundament waarop zakelijke beslissingen worden genomen. Datagedreven werken begint met goede data, maar dat is niet genoeg. De data moeten ook toegankelijk en bruikbaar zijn.
Dit vereist dat een organisatie beschikt over goede processen en tools om gegevens effectief te beheren. Datakwaliteit is een van de fundamentele bouwstenen van een datagedreven organisatie.
Dit behandelen we:
- Wat is datakwaliteit?
- Wat is goede datakwaliteit en hoe meet je dat?
- Hoge datakwaliteit betekent meer winst
- Vier stappen om datakwaliteit te verbeteren
- Data stewards en data owners
- Zo waarborg je de datakwaliteit
- Drie meest voorkomende misvattingen over datakwaliteit
- Drie tips voor het verbeteren van datakwaliteit
Wat is goede datakwaliteit en hoe meet je dat?
Wat is slechte en goede datakwaliteit?
Een slechte datakwaliteit kan leiden tot fouten, verspilling en verlies van klanten, terwijl een hoge datakwaliteit de efficiëntie en besluitvorming kan verbeteren en organisaties kan helpen hun klanten beter van dienst te zijn.
Om als hoge kwaliteit te worden beschouwd, moet data voldoen aan bepaalde normen die door organisaties of bedrijven zijn vastgesteld.
Datakwaliteit criteria voor een accurate meting
Hieronder vind je de zeven criteria om datakwaliteit te meten:
1. Nauwkeurigheid
Ervoor zorgen dat de gegevens correct en actueel zijn.
2. Volledigheid
Ervoor zorgen dat alle relevante gegevens zijn opgenomen.
3. Actueel
Ervoor zorgen dat de gegevens actueel en accuraat zijn.
4. Consistent
Ervoor zorgen dat dezelfde gegevens worden gebruikt in verschillende afdelingen en op verschillende platforms.
5. Juistheid
Kloppen de verschillende gegevens wel en is bijvoorbeeld de naam juist gespeld.
6. Semantiek
Is de juiste waarde toegekend zoals lead of klant.
7. Businessrules
Zijn die juist toegepast en kloppen de waarden tussen velden.
Slechte datakwaliteit komt vaak voor in CRM systemen
Datakwaliteit issues kom je vooral tegen in operationele systemen, zoals CRM systemen die worden gebruikt om klantengegevens te beheren. Deze systemen bevatten vaak een grote hoeveelheid dubbele gegevens, onvolledige gegevens en verouderde gegevens.
Daarom is het voor organisaties belangrijk om hun operationele gegevens regelmatig op te schonen en bij te werken.
De datakwaliteit verbeteren binnen jouw organisatie?
Dick heeft ruim 30 jaar ervaring als implementator en datacoach. Wil jij ook de datakwaliteit verbeteren in de organisatie maar weet niet waar je moet beginnen?
- Data governance implementatie
- Datakwaliteit meting
- Datakwaliteit verbetertraject
Hoge datakwaliteit betekent
meer winst
Datakwaliteit heeft een duidelijk rendement
Als een organisatie datakwaliteit serieus neemt, dan is dat voor een organisatie zeer lucratief. Het rendement van de organisatie verbetert zienderogen en als gevolg daarvan wordt de organisatie meer waard en maakt natuurlijk ook meer winst. Het wordt ook rendabeler om je bedrijf te financieren.
Datakwaliteit heeft dus een duidelijk rendement, alleen is het lastig om daar een heldere ROI op zetten. Onjuiste gegevens kunnen bijvoorbeeld bestaan uit dubbele records, wat verwarring en chaos kan veroorzaken. Daar kan veel geld mee verloren gaan.
Slechte datakwaliteit in de praktijk
Volgens Gartner kost slechte datakwaliteit bedrijven gemiddeld 12,9 miljoen dollar per jaar.
Volgens de MIT Sloan Management Review kost slechte datakwaliteit bedrijven gemiddeld maar liefst 15% tot 25% van de omzet. Een niet te verwaarlozen bedrag, maar de vraag is dan wel, waarom is daar dan zo weinig aandacht voor?
4 stappen om datakwaliteit te verbeteren
Er zijn een aantal manieren om de datakwaliteit te verbeteren.
1. Identificeer de datakwaliteitsproblemen
De belangrijkste stap is het identificeren van de specifieke datakwaliteitsproblemen die moeten worden aangepakt.
2. Definieer de huidige datakwaliteit met metadata management
Maar al te vaak voeren organisaties en afdelingen verbeterprogramma’s rond datakwaliteit uit zonder te bepalen wat de datakwaliteit eigenlijk zou moeten zijn en of het attribuut in kwestie daadwerkelijk in de organisatie wordt gebruikt.
Daarom is het essentieel om de kwaliteit van gegevens vooraf te definiëren. Dit wordt gedaan binnen het DAMA DMBOK data governance proces genaamd metadata management.
Dit proces omvat de ontwikkeling van een model voor datakwaliteit, dat zal helpen vaststellen wat wordt bedoeld met “goede” data.
Het metadata management proces
Metadata management is eigenlijk het proces van het beschrijven van de data over de data. De data steward is de rol die ervoor moet zorgen dat metadata management en datakwaliteit met elkaar in overeenstemming zijn.
Door de kwaliteit van data vooraf te definiëren, kunnen organisaties kostbare fouten vermijden en ervoor zorgen dat hun data van de hoogste kwaliteit is.
2. Bepaal de juiste verbetermethode voor de organisatie
Op basis van die stap kan dan gekeken wordende verschillende mogelijkheden om de datakwaliteit te verbeteren, waaronder data cleansing, data mining en data governance. Vaak zijn problemen met de datakwaliteit de reden waarom BI-initiatieven mislukken.
4. Verbeter de datakwaliteit met data governance
Eén van de manieren om datakwaliteit te verbeteren is data governance te introduceren in een organisatie en daarmee beleid en procedures te creëren voor het beheren van data.
Dit omvat het definiëren van wie verantwoordelijk is voor het beheer van data, welke processen zullen worden gebruikt om data te beheren en hoe data zal worden gemonitord.
Datakwaliteit en data governance gaan daarbij hand in hand.
Waarom is data governance zo belangrijk?
Datagovernance houdt zich bezig met het beheer van gegevens gedurende de gehele levenscyclus van data, met inbegrip van de verzameling, de verwerking en het gebruik van die gegevens. Om dit doeltreffend te doen, moet ervoor worden gezorgd dat de gegevens van hoge kwaliteit zijn.
Dit vereist een consequente monitoring en beoordeling van de datakwaliteit in verschillende systemen, alsook inspanningen om de kwaliteit daarvan in de loop van de tijd te verbeteren.
Data stewards en data owners zorgen samen voor hoge datakwaliteit
Data ownership is essentieel voor hoge datakwaliteit
Data eigenaarschap of data ownership is het nemen van verantwoordelijkheid voor het beheer en de beveiliging van data. Data ownership is belangrijk omdat het helpt ervoor te zorgen dat data effectief en efficiënt worden beheerd en gebruikt. Het helpt er dus voor te zorgen dat data van hoge kwaliteit is en kan worden gebruikt om de besluitvorming te ondersteunen.
De beste manier om data ownership in een organisatie in te voeren en te borgen is om duidelijke rollen en verantwoordelijkheden te introduceren voor data owners en data stewards.
Data owners en data stewards werken samen
Data owners moeten verantwoordelijk zijn voor het beheer en de beveiliging van data, terwijl Data Stewards ervoor moeten zorgen dat data accuraat, consistent en betrouwbaar is. Met een duidelijke rolverdeling kunnen organisaties ervoor zorgen dat data effectief en efficiënt worden beheerd en, misschien nog wel belangrijker, veilig is.
Samen werken de data owners en de data stewards aan een hoge data kwaliteit.
Zo borg je de datakwaliteit
Alles over datakwaliteitsmanagement
Datakwaliteit waarborgen op 3 manieren
Het waarborgen van datakwaliteit kan op drie niveaus worden benaderd
- Organisatiegericht
- Domeingericht
- Applicatiegericht
1. Organisatiegericht kwaliteitsbeheer
Wat is organisatiegericht beheer van datakwaliteit?
Organisatiegericht kwaliteitsbeheer richt zich op de algehele (overkoepelende) governance en management van data binnen de organisatie.
Het omvat het vaststellen van beleidslijnen, verantwoordelijkheden en procedures die ervoor zorgen dat data als een belangrijk bedrijfsmiddel wordt beheerd en beschermd.
Uitdagingen bij organisatiegericht beheer van datakwaliteit
Een veelvoorkomende uitdaging is het verkrijgen van buy-in van het senior management. Zonder hun steun kunnen (overall) initiatieven voor datakwaliteit snel stranden.
Daarnaast kan het lastig zijn om de juiste balans te vinden tussen beveiliging en bruikbaarheid van data. Het kan te veel een theoretische exercitie worden die te veel op afstand van de business komt te staan of als te abstract wordt ervaren.
Beste practices voor organisatiegericht beheer van datakwaliteit
Stel een Data Governance board in
Deze board is verantwoordelijk voor het toezicht houden op alle data-gerelateerde activiteiten binnen de organisatie.
Definieer duidelijke rollen en verantwoordelijkheden
Zorg ervoor dat iedereen weet wat hun rol is in het waarborgen van datakwaliteit. DAMA DMBOK kan hier richting aan geven.
Implementeer heldere beveiligingsprotocollen
Bescherm uw data tegen ongeautoriseerde toegang en datalekken. Houdt daarbij wel rekening met de (data)volwassenheid van je organisatie.
2. Domeingericht beheer van datakwaliteit
Wat is domeingericht kwaliteitsbeheer?
Domeingericht kwaliteitsbeheer richt zich op specifieke gebieden of domeinen binnen de organisatie, zoals financiën, HR of marketing.
Het doel is om de datakwaliteit binnen deze specifieke domeinen te verbeteren door middel van gedetailleerde analyses en gerichte maatregelen. Metadata management is vaak de bron om datakwaliteit goed te beheren.
Uitdagingen bij domeingericht datakwaliteitsbeheer
Een van de grootste uitdagingen is het identificeren van de datakwaliteitsproblemen binnen een specifiek domein. Dit vereist vaak een diepgaande analyse en het gebruik van geavanceerde tools en technieken.
Ook is vaak niet helder afgesproken wie de domein eigenaar is en welke zeggenschap deze persoon heeft. De domein eigenaar van data wordt vaak verward met een systeemeigenaar dat heel iets anders is.
Wat zijn de beste stappen die je kan zetten bij domeingericht kwaliteitsmanagement?
Voer regelmatige datakwaliteits analyses uit
Analyseer uw data regelmatig om mogelijke problemen vroegtijdig te identificeren.
Gebruik standaardnormen en richtlijnen
Volg industrie standaarden zoals ISO en overkoepelende afspraken zoals GGM model of IMBOR om consistentie en kwaliteit te waarborgen en discussies te voorkomen.
Data owner en datasteward
Bespreek wat de verantwoordelijkheden zijn en vooral leidt ze op in deze nieuwe rol.
Implementeer continue verbeteringscycli
Gebruik methoden zoals de PDCA-cyclus (Plan, Do, Check, Act) om continu de datakwaliteit op domeinniveau te verbeteren.
3. Applicatiegericht datakwaliteitsbeheer
Wat is applicatiegericht kwaliteitsbeheer?
Applicatiegericht kwaliteitsbeheer richt zich op de technische aspecten van datakwaliteit, zoals data-integriteit, data opschoningsprocessen en systeemintegraties.
Het doel is om ervoor te zorgen dat de data consistent en accuraat is, ongeacht het systeem waarin deze zich bevindt. Dit begint bij elke applicatie afzonderlijk maar komt ook samen bij ETL en datawarehouse omgevingen.
Uitdagingen bij applicatiegericht kwaliteitsbeheer
Een belangrijke uitdaging is om de onderliggende oorzaken van datakwaliteitsproblemen aan te pakken in plaats van alleen de symptomen. Dit vereist vaak samenwerking tussen verschillende IT teams en afdelingen.
Ook moeten afspraken worden gemaakt waar de kwaliteit aan moet voldoen, metadata management en welk systeem voor welk informatie onderdeel leidend is. Vaak wordt dit aangevlogen als een project terwijl het eigenlijk een continu proces in de organisatie zou moeten zijn.
Hoe het beste om applicatiegericht kwaliteitsmanagement in te richten?
Implementeer data lineage
Houd bij waar uw data vandaan komt en hoe deze is gewijzigd gedurende zijn levenscyclus. Dit begint al bij de bronsystemen.
Gebruik geautomatiseerde data opschoningsprocessen
Maak gebruik van tools om uw data automatisch te schonen en te valideren. Wel met duidelijk door de business bepaalde en geaccordeerde regels
Voer regelmatige data kwaliteit inspecties uit
Controleer regelmatig de applicaties en de onderliggende data om ervoor te zorgen dat ze voldoen aan de datakwaliteitsnormen die we met elkaar afgesproken hebben
Waar start je op elk niveau?
Organisatiegerichte implementatie
Begin met het betrekken van het senior management. Stel een data governance raad in en definieer duidelijke beleidslijnen en procedures voor datakwaliteit.
Domeingerichte implementatie
Voer gedetailleerde analyses uit binnen specifieke domeinen om datakwaliteitsproblemen te identificeren. Gebruik standaardnormen en richtlijnen om consistentie te waarborgen.
Applicatiegerichte implementatie
Implementeer als dan niet geautomatiseerde data opschoningsprocessen en houd data lineage bij om de integriteit van uw data te waarborgen.
Start met ETL processen en betrek de business er bij om het goed te keuren. Voer regelmatige kwaliteit inspecties uit om ervoor te zorgen dat de applicaties voldoen aan de normen.
3 meest voorkomende misvattingen over datakwaliteit
Datakwaliteit is omgeven door allerlei misverstanden. In de praktijk kom ik de volgende drie misvattingen het vaakst tegen bij bedrijven:
Misverstand 1: Datakwaliteit gaat over juistheid en volledigheid
Bij gegevenskwaliteit gaat het niet alleen om juistheid en volledigheid. Het gaat ook om nauwkeurigheid, actualiteit en relevantie. Dit betekent dat de gegevens correct en volledig moeten zijn, maar ook actueel en relevant voor de organisatie.
Je ziet vaak dat organisaties die een datakwaliteitsproject uitvoeren alleen gefocust zijn op de vraag of een veld wel ingevuld is (volledigheid) of kijken naar de juistheid van een veld. De vraag of er niet meer aspecten zijn, of dat andere velden misschien wel veel belangrijker zijn voor de bedrijfsvoering komt niet aan de orde.
Misverstand 2: Datakwaliteit is ‘een probleem van de data-club of IT afdeling’
Vaak wordt het probleem van data gezien als een ‘probleem van de dataclub of de IT afdeling’. Dit is niet het geval: datakwaliteit is de verantwoordelijkheid van iedereen. Het begint met het verzamelen van eisen voor nieuwe systemen processen.
Wie zijn de gebruikers van het systeem? Waar willen ze het voor gebruiken? Welke informatie hebben zij nodig? Uit onderzoek blijkt dat datakwaliteitsproblemen een van de belangrijkste oorzaken is van een niet succesvolle implementatie van een datawarehouse omgeving.
Misverstand 3: Meten is weten
Controles en dashboards lijken een populaire verslaving onder ons allemaal te zijn. We geloven erin en voelen ons “de baas” op het moment dat we een kleurrijk taartdiagram op een dashboard zien. Schijn bedriegt echter. In de praktijk ontbreekt vaak cruciale informatie.
We besteden vaak meer tijd aan het mogelijk maken en presenteren van datakwaliteit dan dat we de wijzigingen toepassen op bestanden en verschillende databases. Focus vooral op het oplossen, meten komt later wel. Meten is geen excuus om datakwaliteitsverbetering toch maar niet te gaan doen!
Dé datakwaliteit FAQ
Wat is integere data?
Integere data is lastig te definiëren, omdat het van persoon tot persoon kan verschillen. Wat voor de één belangrijk is, kan voor de ander minder belangrijk zijn. Ook in de data kunnen bepaalde groepen oververtegenwoordigd zijn, waardoor discriminatie op basis van data op de loer kan liggen.
Met het gebruik van een specifiek framework, als het ‘data ethiek framework’, is iedereen zich daarvan bewust en kunnen ook de juiste maatregelen worden genomen. Organisaties moeten ook een duidelijk inzicht hebben in welke gegevens zij bewaren, waar ze vandaan komen en hoe ze worden gebruikt. Dit staat bekend als metadata. Metadata kan de kwaliteit van gegevens helpen verbeteren door context en betekenis te bieden. Het kan ook helpen dubbel werk en fouten te voorkomen.
Wat is data profiling?
Data profiling is het proces waarbij gegevens worden geanalyseerd om de inhoud en de structuur ervan vast te stellen. Dit wordt gedaan om te bepalen hoe goed de gegevens voldoen aan de bedrijfsvereisten. Profilering helpt ook om eventuele kwaliteitsproblemen met de gegevens te identificeren.
Wat is klantprofilering?
Klantenprofilering is het proces waarbij gegevens over klanten worden geanalyseerd om hun behoeften en voorkeuren te bepalen. Dit helpt organisaties om hun marketinginspanningen te richten en een betere klantervaring te bieden. Klantenprofilering kan organisaties ook helpen potentiële klanten te identificeren. Let er daarbij wel op dat je daarmee blijft voldoen aan de AVG of GDPR wetgeving.
Waarom is datakwaliteit belangrijk bij data analyses?
Data analysis is het proces waarbij gegevens worden onderzocht om trends en patronen te vinden. Dit kan manueel gebeuren of met behulp van software worden uitgevoerd. Het doel is uiteindelijk om beter inzicht te krijgen in het gedrag van klanten, werknemers of andere belanghebbenden.
Data analyse wordt alleen mogelijk gemaakt door gegevens van hoge kwaliteit. De nauwkeurigheid, volledigheid en tijdigheid van gegevens zijn allemaal essentieel voor een doeltreffende analyse. Daarnaast is het goed begrijpen van de data het andere essentiële aspect om tot een juiste data analyse te kunnen komen.
3 tips voor het verbeteren van datakwaliteit
Tip 1: Ga van meten naar verbeteren
Meten moet eerst gebeuren. Je moet weten wat het huidige niveau van de onderzochte data is en wat het moet zijn.
De tweede fase vereist verbetering van de data. Dit vereist een juiste methode, competenties en een team om die verbeteringen door te kunnen voeren en de resultaten te kunnen borgen. Door het te blijven meten zie je in één oogopslag wat de datakwaliteit is weet je waar je nog kunt verbeteren.
Tip 2: Formuleer doelen voor je datakwaliteit niveau!
Formuleer een helder en smart doel op elk data element, bepaal de prioriteit van de verbetering en stel KPI’s in. Een bekend doel is dat 98% van de contactgegevens juist moet zijn. In dit artikel wordt ook nader ingegaan op de verschillende aspecten van datakwaliteit.
Zorg er dus voor dat je alleen die doelen formuleert die ook echt onder aan de streep een bijdrage leveren aan de overall doelstellingen van de organisatie. Soms is dat niet direct zichtbaar, maar er naar zoeken maakt het meten en communiceren daarover zoveel eenvoudiger.
Tip 3: Zie het als een proces en niet als een project
Organisaties moeten datakwaliteit niet benaderen als een project, maar als een continu proces. Dit komt omdat datakwaliteit nooit echt “af” is. Er zijn altijd manieren om de nauwkeurigheid, volledigheid en tijdigheid van gegevens te verbeteren en er worden bij de invoer ook weer steeds nieuwe fouten gemaakt.
Datakwaliteitsproblemen kan je nooit voorkomen, maar wel verminderen. Om die reden is het eigenlijk een continu verbeterproces (PDCA). Organisaties starten vaak nieuwe projecten op om specifiek de datakwaliteit te verbeteren. Hoe vaak krijg je dan niet te horen van ‘dat project hebben we drie jaar terug ook al een keer gedaan’.
