Datakwaliteit - Het belang van betrouwbare data

De afgelopen jaren heeft datamanagement een steeds belangrijkere positie gekregen binnen organisaties. Data gedreven sturing en daarmee betrouwbare data zijn een must voor de continuïteit van een organisatie; er valt immers veel te halen met correcte data. Uit een onderzoek van IBM is naar voren gekomen dat onbetrouwbare data .1 biljoen per jaar kost in Amerika. Het gaat onder andere om kosten die worden gemaakt door werknemers die bezig zijn met het corrigeren van de data of fouten die klanten maken door onbetrouwbare data. 

 In deze blog gaat het niet alleen om algemene informatie over datakwaliteit. Er wordt juist dieper ingegaan op de oorzaken van slechte datakwaliteit en over hoe je slechte datakwaliteit kunt voorkomen of opsporen en verbeteren. Daarvoor is het allereerst belangrijk om te definiëren wat datakwaliteit precies is.  

Datakwaliteit en de gevolgen van onbetrouwbare data  

“Datakwaliteit zegt iets over de mate waarin de gegevens geschikt zijn voor het doel waarvoor de data gegenereerd wordt.” 

Iedere organisatie heeft wel te maken met verstoringen in het productieproces, ontevreden klanten (doordat ze onterecht worden benaderd of omdat het geleverde product/de verleende dienst niet volgens afspraak is geleverd) of informatie voor medewerkers die onvolledig/niet juist is. Dit is vaak te relateren aan onbetrouwbare data. Onbetrouwbare data kosten organisaties niet alleen veel geld, maar kan zelfs resulteren in datalekken, reputatieschade of kan de continuïteit van de organisatie in gevaar brengen. Wanneer je 5 minuten googelt op “de gevolgen van onbetrouwbare data” vind je hier bijna oneindig veel voorbeelden van. 

Door meer aandacht te besteden aan datakwaliteit kan een organisatie deze problemen voorkomen en veel kosten besparen. Maar wat zijn nu de oorzaken van onbetrouwbare data?  

Oorzaken van onbetrouwbare data 

Binnen ieder bedrijf is onbetrouwbare data aanwezig. Dit hoeft niet altijd een fout in de data te zijn; het kan ook door verkeerd gebruik van de data komen, slechte datakwaliteit is dan een afgeleide. Met goede architectuur, governance en datamodellen kunnen de risico’s worden gereduceerd. Het is van groot belang dat je weet hoe je met data in je organisatie omgaat.  

Bronoorzaken van lage datakwaliteit zijn onder andere; 

• Datakwaliteit is niet ingebed in de cultuur van de organisatie
  Management zet dit onvoldoende op de kaart; 
• Processen niet voldoende ingericht en afgestemd binnen de organisatie
  We zien bijvoorbeeld binnen bedrijven dat verschillende afdelingen dezelfde data genereren, maar de data anders vullen in het systeem of er anders mee omgaan; 
• Aanpassen van processen zonder goede impactanalyse
  Wanneer processen voor het opvoeren van data worden aangepast zonder dat er wordt gekeken naar waar die data wordt gebruikt binnen de organisatie en met welk doel de data gebruikt wordt, dan kan het zijn dat door de wijziging de data niet meer voor dat doel te gebruiken is; 
• Gebrek aan duidelijke governance structuur
  We zien dat verantwoordelijkheden omtrent data niet altijd op een goede manier zijn belegd binnen de organisatie, waardoor er dan geen sprake is van een eigenaar van de data die erop toeziet dat de data correct wordt gevuld en gebruikt; 
• Dubbel gebruik van velden voor verschillende doeleinden.  

Meetbaarheid van datakwaliteit  

Datakwaliteit moet meetbaar zijn om de risico’s op schade te beperken. De eisen hiervoor zijn afhankelijk van het doel waarvoor de data wordt vastgelegd en gebruikt. Een algemene lijst met criteria bestaat niet; dit is voor iedere organisatie en iedere afdeling verschillend. Maar kwaliteitscriteria zijn essentieel om goed te kunnen meten.  

Door onze ervaring in datakwaliteit projecten, zijn de volgende kwaliteitscriteria dé criteria om te toetsen hoe het gesteld is met de data van een organisatie:  

• Accuraatheid: Is de ingevoerde data correct? In welke mate reflecteert de data de werkelijkheid?
  Dit vergt enige kennis van de inhoud van de data ten opzichte van hoe het zich weerlegt in het echt. Aan de hand van descriptieve statistieken kun je testen of je data de werkelijkheid goed nabootst; 
• Compleetheid: Is alle data aanwezig? Denk hierbij aan het hebben van missende waarden en het hebben van de juiste variabelen om je onderzoek te kunnen doen of je dienstverlening uit te kunnen voeren; 
• Consistentie: Kan data in verschillende systemen gebruikt worden? Is de data gelijk in alle systemen? Dit kan misgaan wanneer je bijvoorbeeld data vanuit verschillende bronnen trekt en deze verbindt ondanks de verschillen. Het is daarom in ieder geval belangrijk om de metadata (tekst en uitleg over je data) goed bij te houden; 
• Validiteit: Is de data in het juiste formaat en is het in lijn met de regels binnen jouw organisatie?  
  Denk hierbij aan checks zoals dat de datum ook als juiste datum soort is opgeslagen, dat getallen als geheel of decimaal getal moeten worden opgeslagen en of tekstbestanden als integer moet worden opgeslagen of niet; 
• Relevantie: Is de data bruikbaar voor het doel waar jij het voor nodig hebt? Het is belangrijk om doelen te stellen op basis van de analyse voordat je data verzamelt. Voordat je begint met de analyse, controleer altijd of de data wel relevant is voor het gegeven doel. Dit kan veel tijd besparen; 
• Redundantie: Is dezelfde data op verschillende plekken terug te vinden en/of opgeslagen?  
  Wanneer dit het geval is wordt er niet efficiënt omgegaan met de data. Als gevolg hiervan kan de database groter zijn dan nodig is, wat leidt tot hogere kosten; 
• Tijdigheid: Is de data beschikbaar op het moment dat je het nodig hebt? Een voorbeeld is data die nodig is voor maand- of kwartaalrapportages. Wanneer de data niet op tijd beschikbaar is, geef je niet altijd een compleet beeld weer voor hetgeen dat je middels data wilt laten zien; 
• Toegankelijkheid/beschikbaarheid: Hoe makkelijk kunnen personen beschikken over de data? 
• Security: Hoe wordt de toegang tot data door systemen en medewerkers beheerst? 

Verbeteren van datakwaliteit 

Met de VertX Data Maturity scan wordt snel inzichtelijk waar de pijnpunten zitten als het gaat om datakwaliteit en wat de oorzaak ervan is. Allereerst moet je bepalen welke data voor jouw organisatie van belang is. Niet aan alle data kleven dezelfde risico’s. Kortom, wat is je kritische data? Welke data geeft risico op reputatieschade, privacy schending, schade voor de continuïteit van het bedrijf en financiële schade? Zodra dit bekend is kun je gaan prioriteren. Vervolgens kun je een assessment uitvoeren op de relevante kwaliteitscriteria.  

De uitkomsten van de scan vormt input voor het plan van aanpak met acties om de data te schonen of te verrijken alsmede acties om de lage datakwaliteit in de toekomst te voorkomen. Daarna kunnen de acties in het plan van aanpak uitgezet worden in de organisatie. Het is raadzaam om deze cyclus voor het detecteren en oplossen van datakwaliteit issues periodiek uit te voeren. Voor uitleg over onze VertX Data Maturity scan verwijzen we je graag naar onze blog “Op naar data gedreven werken door jouw volgende stap in data volwassenheid (vertx.nl)” van 5 mei 2021.   

Datakwaliteit op orde 

Het op orde hebben van je datakwaliteit is een continu proces. Data is de key role in je organisatie.  Goede datakwaliteit zorgt voor juiste rapportages naar toezichthouders, management et cetera. Daarnaast bespaart het kosten en mitigeert risico’s.  

Met juiste architectuur, governance en datamodellen kunnen de risico’s gereduceerd worden. Daarnaast moeten de processen juist worden ingericht en afgestemd binnen de organisatie. Het is van belang dat voldoende controlepunten worden ingebouwd, dat definities van data vast worden gelegd en dat het eigenaarschap voor de diverse data wordt ingericht. Tot slot is het raadzaam om de cyclus voor het detecteren en oplossen van datakwaliteit issues periodiek uit te voeren.  

Uiteraard kunnen wij als VertX jouw organisatie ondersteunen en adviseren op het gebied van data. We helpen graag om de data te stroomlijnen, datakwaliteit te identificeren en waar nodig te verbeteren. Wil jij ook betrouwbare opgeschoonde data hebben of wil je sparren over dit onderwerp, aarzel dan niet en neem contact met ons op. 

Voor dit artikel zijn de volgende bronnen geraadpleegd:  

• https://www.anodot.com/blog/price-pay-poor-data-quality/ 
• Datakwaliteitsonderzoek - Compact 
• Earley, S., Henderson, D., & Data Management Association. (2017). DAMA-DMBOK : data management body of knowledge. New Jersey: Technics Publications.