Hoe betrouwbaar is een KPI eigenlijk?
In de eerdere delen van deze reeks ging het over doel, definitie, gebied en data. In dit deel schuift de vraag op: niet meer wat een KPI is, maar wat je er werkelijk van mag verwachten.
Meten is niet hetzelfde als werkelijkheid
Vrijwel iedereen herkent het. Je rijdt volgens je snelheidsmeter 100 km/u, terwijl je navigatie iets anders aangeeft. Of je rijdt 109 km/u en krijgt geen boete. Intuïtief weten we: meten is niet hetzelfde als werkelijkheid.
Voor auto’s wordt verbruik en uitstoot vastgesteld in gestandaardiseerde testomstandigheden. In de WLTP-test gebeurt dat niet via de snelheidsmeter van de auto zelf, maar via een extern referentiesysteem: een rollenbank met gekalibreerde meetapparatuur en een vastgelegd snelheidsprofiel.
Neem een veelvoorkomende dieselauto, zoals een Volkswagen Golf 2.0 TDI. Volgens de officiële test ligt de uitstoot rond de 120 gram CO₂ per kilometer. Wie echter naar de praktijk kijkt, ziet een ander beeld. Op basis van werkelijk verbruik ligt de uitstoot eerder in een bandbreedte van ongeveer 105 tot 170 g CO₂ per kilometer, afhankelijk van rijgedrag, temperatuur en omstandigheden. Hogere waarden komen met name voor bij korte ritten, stedelijk verkeer en koude motoren.
De testwaarde is daarmee niet onjuist, maar ook niet volledig. Het is een gestandaardiseerde referentie. De werkelijkheid zit er omheen.
De bandbreedte van een KPI
Daarmee wordt de kernvraag zichtbaar: hoe betrouwbaar is een KPI eigenlijk? Niet alleen: klopt de waarde? Maar ook: wat is de bandbreedte waarbinnen die waarde nog iets zegt over de werkelijkheid?
Die bandbreedte ontstaat niet uit één bron. Ze is het resultaat van meerdere lagen: meetcondities, aannames, gedrag en omgeving. Iedere stap is verdedigbaar, maar samen vormen ze een model. En precies daar ontstaat het stapeleffect.
Een KPI als deze is daarmee geen directe meting, maar de uitkomst van een keten van aannames.
Prikkel en gedrag
Dat heeft gevolgen voor gedrag. Als een auto volgens de test rond de 120 g CO₂/km zit, terwijl in de praktijk 170 g CO₂/km voorkomt, dan ontstaat een relevante vraag: welke prikkel geeft deze KPI nog? Hoeveel ruimte blijft er voor daadwerkelijk beter presteren, als de gemeten waarde niet direct gekoppeld is aan het werkelijke gedrag?
De vraag is dan hoeveel ruimte voor werkelijk beter presteren er nog overblijft voor de bestuurder. Welke stimulans heeft een bestuurder om zuinig te rijden? Waarom nog mikken op 105 g CO₂/km, als de KPI toch al 120 g CO₂/km aangeeft? En wat remt dan nog af om in de praktijk op 170 g CO₂/km uit te komen?
Van test naar landbouwpraktijk
Precies dit spanningsveld zie je ook terug in de doelsturing van de landbouw in de huidige vorm.
De vraag is of we in de landbouw doorgaan met dit type KPI’s, KPI’s die zijn ontworpen op basis van gestandaardiseerde indicatoren: vergelijkbaar, herhaalbaar en ogenschijnlijk precies, terwijl de praktijk weerbarstiger is dan het model. Weer, bodem, hydrologie, ligging, timing en bedrijfsvoering maken verschil. Net als in het auto-voorbeeld is de vraag dus niet alleen wat een KPI meet, maar hoe breed de bandbreedte is waarbinnen die KPI nog betekenis heeft.
Daarnaast wordt in beleid gedacht aan het werken met forfaitaire waarden: vaste aannames die de werkelijkheid benaderen, maar niet per situatie meten.
De vraag is dan niet alleen wat technisch mogelijk is, maar ook wat dat betekent voor sturing: hoeveel invloed heeft een ondernemer nog, als een KPI deels of geheel op standaardisatie rust?
Precies daar wordt het interessant. In technische briefings van ambtenaren hoor je in de landbouwtaal al snel wat forfaitair kan worden vastgesteld, en dus ook wat via standaardisatie berekend mag worden.
De overheid, en dus de nieuwe minister van landbouw, kan toch moeilijk menen het stuur werkelijk aan ondernemers te geven, zolang forfaits onderdeel blijven van een KPI?
Wanneer systeem en werkelijkheid uit elkaar lopen
Stel dat alle dieren, percelen en stallen aan de norm voldoen, maar de waterkwaliteit in een gebied toch achterblijft. Wat moet je daar dan mee?
Wat vinden we dan dat dat zegt?
- Dat de ondernemer(s) tekortschieten?
- Dat de norm te ruim was?
- Dat de KPI onvoldoende de werkelijkheid vangt?
- Of dat de foutmarge van het systeem op het bord van het productieapparaat wordt gelegd?
Wat voelt u hier als lezer? Wat moet er volgens jou nu gebeuren?
Meer dan één werkelijkheid
Daarmee wordt het nog scherper. Een KPI kan op papier kloppen voor CO₂ per kilometer, terwijl de werkelijke impact in stedelijke gebieden, bijvoorbeeld via NOx, een heel ander beeld geeft. Dan ontstaat de vraag: sturen we nog op de werkelijkheid, of op een versimpelde representatie daarvan?
En kun je met zo’n KPI dan eigenlijk wel uit de voeten in een specifiek gebied, bijvoorbeeld een stedelijk gebied waar auto’s koud starten en vaak maar korte afstanden rijden? Denk dan niet aan 120 g CO₂/km op papier, maar aan 170 g CO₂/km in de praktijk.
Terug naar de basis: wat mag een KPI zijn?
In deel 2 kwam naar voren dat een KPI SMART moet zijn.
In deel 3 volgde een praktische checklist.
Daarmee wordt de vraag voor dit deel concreet: komt een KPI die vooral ‘af fabriek’ of ‘op papier’ klopt daar daadwerkelijk doorheen? Of blijkt dan dat de indicator netjes ontworpen is, maar nog niet betrouwbaar genoeg om er hard op te sturen?
Slot
De vraag is dus niet of een KPI klopt. De vraag is hoe hij zich gedraagt in de praktijk, en wie de afwijking draagt wanneer model en werkelijkheid uit elkaar lopen. Zonder inzicht in spreiding en foutmarge is een KPI geen stuurinstrument, maar een aanname met consequenties.
Daarmee blijft nog één vraag over: hoeveel speelruimte heeft een systeem om te sturen op de test, of het forfait, in plaats van op de werkelijkheid?
Jeroen van Buuren | Van Buuren Continuum Advisory (VBCA)
Adviseur op het snijvlak van systeemvraagstukken, landbouw en beleid.
In deze reeks werk ik stap voor stap uit waar doelsturing en KPI’s op papier helder lijken, maar in praktijk en uitvoering gaan wringen.
Contact: jeroen@vbca-org.nl
Meld je hier aan voor nieuwe delen in deze reeks.
Dit artikel verscheen in een reeks: Doelsturing en KPI’s