Wanneer twee dashboards verschillende cijfers laten zien, betekent dat niet automatisch dat één van de twee fout is.
Vaak meten de dashboards nét iets anders. Ze gebruiken bijvoorbeeld een andere definitie, databron, periode, updatefrequentie, filter of berekening. Daardoor kunnen twee cijfers allebei technisch correct zijn en toch van elkaar verschillen.
Het echte probleem ontstaat wanneer binnen de organisatie niet duidelijk is waarom ze verschillen en welk cijfer voor een bepaalde beslissing gebruikt moet worden.
Controleer eerst of de dashboards echt hetzelfde meten
Wanneer cijfers niet overeenkomen, is de eerste reactie vaak: welk dashboard klopt?
Maar daarvoor moet eerst een andere vraag worden beantwoord:
Meten deze dashboards daadwerkelijk hetzelfde?
Een omzetdashboard van finance kan bijvoorbeeld alleen gefactureerde omzet tonen, terwijl een commercieel dashboard kijkt naar getekende deals. Beide worden intern misschien simpelweg “omzet” genoemd.
De cijfers verschillen dan niet door een technische fout, maar doordat er twee verschillende definities achter hetzelfde woord zitten.
Hetzelfde zien we bij begrippen als klant, lead, conversie, marge, actieve gebruiker en order.
Als de definitie niet duidelijk is, kan een cijfer technisch perfect zijn en toch voor verwarring zorgen.
Zeven veelvoorkomende oorzaken van verschillende cijfers
Verschillen tussen dashboards ontstaan meestal op een beperkt aantal plekken.
- Een andere definitie. Het ene dashboard telt bijvoorbeeld iedere aanvraag als lead, terwijl het andere alleen gekwalificeerde leads meet.
- Een andere databron. Het ene rapport gebruikt het CRM als bron, het andere een marketingplatform of datawarehouse.
- Andere filters. Interne gebruikers, testorders, geannuleerde transacties of bepaalde landen worden in het ene dashboard wel uitgesloten en in het andere niet.
- Een andere periode of tijdzone. Vooral bij dagelijkse en maandelijkse rapportages kan een verschil in tijdzone of afsluitmoment cijfers beïnvloeden.
- Een andere updatefrequentie. Het ene dashboard wordt realtime bijgewerkt, het andere één keer per nacht.
- Andere berekeningen of transformaties. Data kan onderweg worden samengevoegd, ontdubbeld, gecorrigeerd of anders geclassificeerd.
- Een meet- of datakwaliteitsprobleem. Data ontbreekt, wordt dubbel geregistreerd of komt niet goed door een koppeling heen.
In de praktijk kunnen meerdere oorzaken tegelijkertijd spelen.
Een voorbeeld: hoeveel leads hebben we eigenlijk?
Stel dat marketing rapporteert dat er in een maand 420 leads zijn binnengekomen.
Sales ziet in het CRM maar 346 nieuwe leads.
Op het eerste gezicht lijkt één van de twee cijfers fout.
Maar bij nader onderzoek kan blijken dat marketing iedere succesvolle formulierinzending meet. In het CRM worden dubbele aanvragen samengevoegd, bestaande klanten apart geregistreerd en sollicitaties niet als commerciële lead opgeslagen.
Het verschil tussen 420 en 346 kan dan grotendeels verklaarbaar zijn.
De belangrijkste vraag is vervolgens niet welk systeem heeft “gewonnen”.
De organisatie moet bepalen welke definitie van een lead nodig is voor welke beslissing.
Voor het beoordelen van de prestaties van een formulier kan het marketingcijfer relevant zijn. Voor het plannen van commerciële capaciteit kan het CRM-cijfer juist beter aansluiten.
Het probleem is niet altijd dat cijfers verschillen
Het is daarom niet realistisch om te verwachten dat ieder systeem binnen een organisatie altijd exact hetzelfde getal laat zien.
Verschillende systemen hebben verschillende functies en kijken soms bewust vanuit een andere context naar dezelfde werkelijkheid.
Dat hoeft geen probleem te zijn.
Het wordt wel een probleem wanneer niemand kan uitleggen:
- wat het cijfer precies betekent;
- welke data eraan ten grondslag ligt;
- welke bewerkingen erop zijn uitgevoerd;
- waarom het afwijkt van andere rapportages;
- en voor welke beslissing het cijfer gebruikt mag worden.
Betrouwbare rapportage betekent dus niet noodzakelijk dat overal hetzelfde getal staat. Het betekent dat verschillen verklaarbaar en beheerst zijn.
Begin niet bij het dashboard, maar bij de definitie
Wanneer cijfers verschillen, wordt vaak direct in de techniek gedoken.
Queries worden vergeleken, exports naast elkaar gelegd en filters gecontroleerd.
Dat kan nodig zijn, maar wij beginnen liever één stap eerder.
Wat bedoelen we eigenlijk met het cijfer dat we proberen te vergelijken?
Voor belangrijke KPI’s zou je minimaal het volgende moeten kunnen vastleggen:
- de zakelijke definitie;
- de databron;
- de belangrijkste berekeningen en filters;
- hoe vaak het cijfer wordt bijgewerkt;
- wie eigenaar is van de definitie;
- en voor welke beslissingen het cijfer wordt gebruikt.
Pas daarna wordt het zinvol om te onderzoeken of de techniek die afspraak ook daadwerkelijk uitvoert.
Heb je dan één centrale bron van waarheid nodig?
De term single source of truth wordt vaak gebruikt als oplossing voor dit probleem.
Het idee erachter is waardevol: belangrijke cijfers moeten niet in ieder rapport opnieuw op een andere manier worden opgebouwd.
Maar dat betekent niet noodzakelijk dat de hele organisatie nog maar één dashboard of één systeem mag gebruiken.
Marketing, finance, sales en operations kunnen allemaal andere informatie nodig hebben.
Belangrijker is dat de organisatie voor gedeelde begrippen en KPI’s een gezamenlijke definitie en herleidbare databron heeft.
Dan kunnen verschillende dashboards dezelfde basis gebruiken, terwijl ze de informatie wel presenteren op een manier die past bij hun eigen gebruikers.
Wat doe je als twee dashboards verschillende cijfers geven?
Probeer het verschil niet direct op te lossen door één van de dashboards als “de waarheid” aan te wijzen.
Doorloop eerst systematisch waar het verschil ontstaat.
- Beschrijf het cijfer. Wat proberen beide dashboards precies te meten?
- Vergelijk de definities. Worden dezelfde gebeurtenissen, klanten of transacties meegeteld?
- Controleer de bronnen. Komt de onderliggende data uit hetzelfde systeem?
- Controleer filters en berekeningen. Wordt de data onderweg verschillend bewerkt?
- Controleer timing. Zijn periode, tijdzone en updatefrequentie gelijk?
- Onderzoek daarna pas mogelijke fouten. Ontbreekt data, wordt iets dubbel gemeten of werkt een koppeling niet goed?
- Leg de uitkomst vast. Zorg dat dezelfde discussie niet drie maanden later opnieuw gevoerd hoeft te worden.
Daarmee los je niet alleen het huidige verschil op, maar verklein je ook de kans dat hetzelfde probleem terugkomt.
Waarom verschillende cijfers datagedreven werken in de weg staan
Een verschil tussen twee dashboards lijkt misschien een klein rapportageprobleem, maar het effect kan veel groter zijn.
Zodra mensen cijfers niet vertrouwen, verandert de aard van het gesprek.
In plaats van te bespreken welke actie nodig is, gaat de vergadering over welk dashboard klopt.
Teams gaan eigen exports maken. Excel-bestanden worden naast officiële rapportages bijgehouden. Mensen kiezen het cijfer dat het beste aansluit bij hun eigen beeld.
Daarmee ontstaat precies het tegenovergestelde van wat je met data probeert te bereiken.
Je wilt data gebruiken om onzekerheid bij beslissingen te verkleinen. Onduidelijke cijfers voegen juist nieuwe onzekerheid toe.
Kun je de cijfers in jouw organisatie vertrouwen?
Is voor onze belangrijkste KPI’s duidelijk wat ze precies betekenen?
Een naam als omzet, lead of klant is niet voldoende. Voor belangrijke cijfers moet de zakelijke definitie duidelijk zijn.
Kunnen we uitleggen waarom twee rapportages van elkaar verschillen?
Een verschil hoeft niet fout te zijn, maar het moet wel verklaarbaar zijn vanuit bijvoorbeeld definitie, bron, filters of timing.
Gebruiken verschillende dashboards dezelfde basisdefinities?
Teams kunnen verschillende rapportages nodig hebben, maar gedeelde KPI’s horen niet telkens opnieuw en anders te worden gedefinieerd.
Kunnen we een cijfer terug herleiden naar de bron?
Bij een onverwachte afwijking moet duidelijk zijn uit welke brondata het cijfer bestaat en welke bewerkingen daarop zijn uitgevoerd.
Is duidelijk welk cijfer voor welke beslissing leidend is?
Hetzelfde begrip kan in verschillende contexten een andere toepassing hebben. Belangrijk is dat mensen weten welke definitie bij hun beslissing hoort.
Leggen we definities en wijzigingen structureel vast?
Zonder vastlegging keren dezelfde discussies terug en kunnen wijzigingen in één systeem ongemerkt tot nieuwe verschillen leiden.
Van discussie over cijfers naar sturen met cijfers
Wanneer dashboards verschillende cijfers laten zien, is de oplossing dus niet altijd om één getal als winnaar aan te wijzen.
Begin bij de betekenis van het cijfer. Zorg vervolgens dat duidelijk is welke bronnen, filters en berekeningen worden gebruikt en leg vast welke definitie voor welke beslissing geldt.
Dan mogen verschillende rapportages best naast elkaar bestaan, zolang hun cijfers herleidbaar en verklaarbaar zijn.
Het uiteindelijke doel is niet dat ieder dashboard exact hetzelfde laat zien. Het doel is dat mensen voldoende vertrouwen hebben in de cijfers om het gesprek te kunnen voeren waar data voor bedoeld is:
Wat zien we gebeuren, welke beslissing nemen we en wat gaan we vervolgens doen?
Lees ook: Wat is datagedreven werken?
