Evaluatieonderzoek: lessen uit bijna 15 jaar doelmatigheid evalueren

In deze serie verschenen reeds het artikel lessen uit vijf beleidsdoorlichtingen en het artikel Lessen uit vijftien zbo-evaluaties. In dit derde en tevens laatste artikel gaan we in op onze lessen uit evaluatieonderzoek na bijna 15 jaar doelmatigheid evalueren.

Download hier onderstaand artikel of lees verder op deze pagina.

—

Lessen uit bijna 15 jaar doelmatigheid evalueren

“Is uw publieke organisatie doelmatig? En waar blijkt dat uit?” Als we die vraag stelden in een evaluatieonderzoek kregen we zéér uiteenlopende antwoorden. Want waar kijk je naar als je een uitspraak moet doen over de doelmatigheid van een publieke organisatie? In de bijna 15 jaren dat KWINK groep bestaat hebben we vele publieke organisaties beoordeeld op de ‘doeltreffendheid’ en ‘doelmatigheid’ van hun functioneren. We evalueerden bijvoorbeeld KNMI, Douane, Autoriteit Consument en Markt, Inspectie Leefomgeving en Transport, het Zorginstituut Nederland, Nederlandse Transplantatie Stichting (NTS), de Raad voor Accreditatie en het Agentschap Telecom (naast tal van organisaties die kleiner zijn dan de hier genoemde voorbeelden).

Als we terugkijken op deze en andere evaluaties, vallen ons over doelmatigheid drie zaken op die we in dit artikel delen. We lichten dit toe, geven er een verklaring voor en benoemen verbetermogelijkheden. We geven daarnaast in dit artikel praktische handvatten en invalshoeken voor het onderzoeken van de doelmatigheid van de eigen organisatie.

Wat ons opvalt uit evaluatieonderzoek naar doelmatigheid

1. Aandacht voor doelmatigheid sneeuwt regelmatig onder ten opzichte van aandacht voor doeltreffendheid en doelbereik
   Of doelen worden bereikt is een vraag die in publieke organisaties behoorlijk veel aandacht krijgt, maar of de doelen op een doelmatige manier worden behaald is een vraag die veel minder aandacht krijgt. Terwijl die vraag niet minder belangrijk zou moeten zijn.  
2. Verschillende medewerkers, verschillende antwoorden op de vraag of de organisatie doelmatig is
   Een van de vragen die we altijd stellen aan publieke organisaties die we evalueren is: vindt u dat uw organisatie doelmatig functioneert? Meestal volgt het antwoord ‘ja’, de ene keer wat overtuigender dan de andere keer. De vervolgvraag is dan natuurlijk: Waar baseert u uw antwoord op? Soms is het even stil. En soms niet. Maar bijna altijd zijn de antwoorden die we krijgen op deze vraag heel uiteenlopend. De een geeft aan dat de kostenbeheersing echt heel goed is geregeld in de organisatie en dat nauwelijks wordt afgeweken van de begroting. Doelmatig dus! De ander geeft aan dat organisatie inmiddels twee keer zo veel vergunningen verleend of twee keer zo veel controles doet, en dat de kosten daarvoor niet zijn toegenomen. Doelmatig! En weer een ander geeft aan: ons ziekteverzuim is flink afgenomen de laatste jaren. Daardoor kunnen we meer doen voor hetzelfde geld. Doelmatig!
   Is dat erg, al die verschillende antwoorden? Nee, dat is op zich niet erg. Maar wat wel een gemis is, is dat in organisaties te weinig het onderlinge gesprek wordt gevoerd over ‘doelmatig functioneren’.
3. Verschillende evaluatieonderzoeken, verschillende invalshoeken bij het beoordelen van doelmatigheid
   Als we kritisch kijken naar evaluatieonderzoeken die de Rijksoverheid laat uitvoeren naar doeltreffendheid en doelmatigheid van organisaties, dan lijkt het soms alsof het onderwerp doelmatigheid er op het eind nog ‘met de haren bij is gesleept’. De analyses van onderzoekers op dit vlak zijn regelmatig niet zo diepgaand, zeker niet in vergelijking met het onderzoek naar de doeltreffendheid. En vaak komen er onderwerpen en invalshoeken in terug die niet zo heel veel met doelmatigheid van doen hebben of die eigenlijk de doeltreffendheid betreffen. Bijvoorbeeld de klanttevredenheid van burgers of stakeholders of de doorlooptijden van processen.

Wat is de verklaring hiervoor?
We zien dat het regelmatig voorkomt dat er geen scherp beeld is, laat staan een gezamenlijk beeld, over wat de doelmatigheid van een publieke organisatie is of zou moeten behelzen. Dat is ook niet onlogisch: een publieke organisatie is geen koekjesfabriek waarvoor je een eenvoudige analyse kan maken van de kosten per koekje. Of van de productiekosten of de grondstofinkoopkosten per koekje. Of van de marketingkosten in relatie tot de omzet. Er zijn veel meer dimensies waarnaar je bij een publieke organisatie kan kijken. Het gevolg daarvan is dat we regelmatig in organisaties zien gebeuren dat hierdoor gesprek over doelmatigheid verzandt in een discussie over wat doelmatigheid precies is. Het gesprek is alweer beëindigd voordat het betekenisvol is geworden.

Hoewel het niet onlogisch is dat dit gebeurt, is het wel onwenselijk. Er gaan namelijk grote investeringen en uitgaven gepaard met het verlenen van publieke dienstverlening en alleen al op grond daarvan mag de burger erop vertrouwen dat doelmatigheid van die uitgaven ten minste onderwerp is van een kritische en gedegen blik. Zowel door de publieke organisatie zelf (continu) als door externe onderzoekers zoals wij die vaak periodiek langskomen om een oordeel te geven, bijvoorbeeld zbo’s die eens in de vijf jaar volgens de Kaderwet zbo’s moeten worden geëvalueerd.

Hoe kan het beter?
Ons advies aan publieke organisaties is om niet té lang stil te staan bij wat de organisatie precies onder ‘doelmatig’ verstaat. Ga in ieder geval níet op zoek naar die éne definitie of die éne bril om naar doelmatigheid te kijken.

Sta in plaats daarvan stil bij de vraag: met welke (bijvoorbeeld vijf) verschillende brillen zouden we naar de doelmatigheid van onze organisatie kunnen kijken? En als we dat dan doen: welke beelden ontstaan dan over onze doelmatigheid? En zijn we op grond van die beelden tevreden of zien we nog kans om onszelf te verbeteren? Om meer resultaat of impact te behalen met dezelfde middeleninzet? Of om deze resultaten en impact te bereiken met iets minder middelen? Als iedere publieke organisatie dat zou doen, zou er al veel winst zijn geboekt.

Wij maken onderscheid tussen een vijftal klassieke brillen om naar doelmatigheid te kijken en een vijftal vernieuwende brillen, zoals weergegeven in onderstaande tabel.

In het kader hierna worden de tien brillen die een organisatie mogelijk kan opzetten om te kijken naar de eigen doelmatigheid kort toegelicht.

Brillen die de organisatie kan opzetten om de eigen doelmatigheid te onderzoeken en verbeteren

 Bril: Relatie kosten en resultaat. Stel verschillende onderdelen van de organisatie (al dan niet gezamenlijk) twee vragen: Zouden we dezelfde resultaten en effecten kunnen bereiken met minder middelen? Zouden we meer of betere resultaten en effecten kunnen bereiken met dezelfde middelen? Deze vragen dwingen tot reflectie over de relatie tussen de kosten en de resultaten. Voor bijvoorbeeld units die bijstandsfraude opsporen zou gediscussieerd kunnen worden over de vraag of de verhouding tussen enerzijds de kosten van opsporing en anderzijds het ‘teruggevorderde geld’ een maatschappelijk gewenste is. Natuurlijk met de kanttekening dat het erg belangrijk is om bij dit soort vragen altijd te kijken in relatie tot factoren als de pakkans voor fraudeurs (is die groot genoeg om fraude te ontmoedigen?) en de mate waarin geld onterecht niet is teruggevorderd of onterecht wel is gevorderd.

Bril: Kostenbeheersing. Zijn de systemen en voorzieningen voor kostenbeheersing op orde? Uit dat zich ook in acceptabele afwijkingen tussen de jaarbegroting en de jaarrealisatie? Bijvoorbeeld maximaal 3%? Maar misschien nog wel belangrijker: treden er geen perverse effecten op die juist ten koste gaan van doelmatigheid, bijvoorbeeld aan het eind van het jaar nog snel geld besteden dat minder effect oplevert dan als dat geld later zou worden ingezet? En wat kunnen we daartegen doen?

 Bril: Kostprijsanalyse. Zijn er producten of diensten waarvoor een tarief of prijs in rekening wordt gebracht? Bijvoorbeeld een vergunning of een registratie. Zo ja, hoe ontwikkelt die prijs of dat tarief zich? Bekijk ook of het mogelijk is om voor sommige producten, diensten of activiteiten die relatief afgebakend zijn een kostprijs te bepalen en te bezien hoe die zich ontwikkelt. Voor publieke organisaties die subsidies verdelen kan bijvoorbeeld worden gekeken naar de verhouding tussen de verstrekte subsidies en de kosten die de organisatie maakt om die subsidies uit te keren en te monitoren.

 Bril: Kostenpostenanalyse en financiële kengetallen. Op dit vlak zijn er diverse kengetallen te gebruiken, zoals de liquiditeit en de solvabiliteit, de verhouding tussen bijvoorbeeld eigen inkomsten, inkomsten uit subsidie en inkomsten uit activiteiten, de verhouding tussen de kosten primair proces en kosten secundair proces (ook wel overhead) of kengetallen als de totale kosten/FTE, ICT-kosten/FTE, huisvestingskosten/FTE, Overige materiele lasten/FTE. De belangrijkste waarschuwing bij al dit soort getallen is: ze zouden het beginpunt van een gesprek moeten zijn (en niet het eindpunt). Bijvoorbeeld: stel dat bij een publieke organisatie de ICT-kosten/FTE meer dan 20k/FTE op jaarbasis bedragen. Dat is relatief hoog, maar dat betekent niet dat de organisatie doelmatiger zal worden als de ICT-kosten/FTE worden teruggebracht tot het gemiddelde in de publieke sector. Immers, mogelijk geldt voor deze organisatie dat ICT juist FTE’s kan vervangen, wat juist bijdraagt aan de doelmatigheid.

 Bril: HR. Vanuit deze invalshoek zijn er diverse aspecten die verband houden met doelmatigheid: ziekteverzuim (kan het omlaag?), uitstroom (is de uitstroom niet te hoog waardoor de investeringen in nieuw personeel dat zich moet inwerken teniet worden gedaan?), verhouding vast en flexibel personeel (goed gekozen verhouding gegeven schommelingen in de hoeveelheid werk?).

 Bril: Innovatie. Deze invalshoek ontbreekt heel vaak in analyses van doelmatigheid, terwijl juist hier veel potentieel zit. Dit gaat verder dan de vraag of de medewerkers bij de uitvoering van de werkprocessen goed worden ondersteund door ICT. Het gaat vooral ook om innovatie van het primair proces. Denk aan een toezichthouder die niet langer met menskracht controles uitvoert, maar die gebruik maakt van sensoren of snuffelpalen waarmee overtredingen en ontoelaatbare emissies worden opgespoord. De vraag bij deze invalshoek is vooral: worden de innovaties die in de markt beschikbaar zijn, tijdig benut om de werkprocessen te verbeteren of fundamenteel te veranderen? Detecteert de organisatie relevante innovaties in de markt, onderzoekt de organisatie of deze innovaties van betekenis kunnen zijn voor de uitvoering van de activiteiten door de publieke organisatie en maakt de organisatie vervolgens goed beargumenteerde keuzes hierin?

 Bril: Strategie. (in plaats van de dingen juist doen). Dit raakt vaak sterk aan de strategie van de organisatie. Vragen die een organisatie zichzelf op dit vlak bijvoorbeeld kan stellen zijn: moeten we inzetten op preventie (via voorlichting en communicatie) of juist op repressie (boetes uitdelen) of op een goed beargumenteerde mix daarvan? Hebben we de juiste aantallen mensen of middelen op de verschillende taken van onze organisatie gezet, of zouden we menskracht of middelen moeten verschuiven op grond van de risico’s die uit onze risicoanalyse blijken? Of: weten we eigenlijk wel hoeveel middelen we hebben ingezet op onze (bijvoorbeeld) acht taken?

 Bril: Taak. Zijn de taken waarop de meeste mensen worden ingezet doelmatig georganiseerd (en welke verbeteringen hebben plaatsgevonden de afgelopen 2 jaren)? Is voor de (heel) kleine taken goed nagegaan of die niet beter door een andere organisatie efficiënter kunnen worden uitgevoerd? Is voor de taken waarbij de werklast de ene periode heel hoog is en de andere week heel laag, een slimme voorziening getroffen zodat mensen die deze taken uitvoeren ook andere taken kunnen uitvoeren? Denk hierbij aan bijvoorbeeld aan een taak als het uitgeven van een concentratievergunningen door de ACM, een activiteit waarvan de werklast sterk afhangt van het economisch klimaat.

 Bril: Governance. Draagt de governance bij aan doelmatig functioneren, met name in het geval van uitvoeringsorganisaties, agentschappen of zbo’s met meerdere opdrachtgevers? Als de publieke organisatie op grond van een zorgvuldige, gedegen risicoanalyse constateert dat de middelen beter kunnen worden verschoven van de ene taak (voor departement x) naar de andere taak (voor departement y), functioneert de governance dan ook zodanig dat dit soort veranderingen mogelijk worden gemaakt?

 Bril: Monitoring. Verzamelt de organisatie de juiste informatie om te kunnen vaststellen of de middelen doelmatig worden ingezet. Neem een organisatie die controles uitvoert. Om te weten of de controles doelmatig zijn (lees: een gunstige verhouding hebben als het gaat om de kosten van die controles en het maatschappelijk effect ervan), is het van belang om bijvoorbeeld informatie te verzamelen over aantallen controles én over de nalevingspercentages die ervan het gevolg zijn én over de maatschappelijke effecten die dit met zich meebrengt. Pas dan kan worden vastgesteld of het zin heeft om 10% meer geld te besteden aan de controles.

Tot slot

Voor alle personen die, als medewerker van een organisatie of als extern onderzoeker van een organisatie, betrokken zijn bij het analyseren en verbeteren van de doelmatigheid van een organisatie, willen we nog de volgende aandachtspunten meegeven:

1. Kijk vanuit alle (of ten minste meerdere) geschetste brillen en invalshoeken, in plaats van te discussiëren over de precieze definitie van doelmatigheid en daarin te verzanden. En probeer niet te blijven hangen in alleen de klassieke brillen, want juist ook in de vernieuwende brillen zien we regelmatig relatief veel verbeterpotentieel.
2. Kijk niet alleen naar getallen waaruit doelmatigheid zou kunnen blijken, maar kijk ook naar de getroffen voorzieningen in een organisatie om doelmatig te kunnen zijn. Dus niet alleen kijken naar het feitelijke verschil tussen begroting en realisatie (en of dat binnen de norm is van een maximale afwijking van 3%), maar ook kijken naar de voorzieningen die zijn getroffen om dit te bereiken. De organisatie die in december de uitgaven opvoert om de norm te halen, haalt getalsmatig de norm maar is misschien niet doelmatig omdat de ‘last minute uitgaven’ misschien maar weinig bijdragen aan doelbereik.
3. Cijfers die iets kunnen zeggen over doelmatigheid zijn zelden het eindpunt voor een doelmatigheidsoordeel, maar zouden juist het beginpunt moeten zijn van een goed gesprek of een nadere zoektocht naar de werkelijkheid achter die cijfers. Niet met als doel om daarmee slechte scores te vergoeilijken, maar met als doel om te voorkomen dat er al te eenvoudige conclusies worden getrokken die niet leiden tot een follow up die kan bijdragen aan verbetering van de doelmatigheid.
4. Let op voor té ‘lean and mean’. Focus en aandacht voor doelmatigheid moet niet worden verward met het ‘vet van de botten schrapen’. Een organisatie die te veel bezuinigd op ICT, loopt misschien grote risico’s op het gebied van informatiebeveiliging. Een organisatie die alle redundantie uit het personeel haalt, loopt misschien een groot risico dat er een probleem ontstaat als een persoon met unieke kennis de organisatie (plotseling) verlaat.
5. Wat doelmatig is voor de publieke organisatie is niet per se doelmatig voor de maatschappij of de burger of het bedrijfsleven waar de publieke organisatie voor werkt. Het is voor een publieke organisatie misschien heel doelmatig om bijvoorbeeld een meldplicht en administratieve handelingen bij burgers en bedrijven te leggen, maar de maatschappelijke kosten van een dergelijk model zijn misschien veel hoger dan een model waarbij de publieke organisatie veel kosten maakt. Kijk dus met een brede blik.

Aanbod van KWINK groep

KWINK groep heeft methodieken ontwikkeld voor 1) het in kaart brengen van de doelmatigheid van organisaties en voor het 2) organiseren van processen in een organisatie om met medewerkers de doelmatigheid te analyseren en te verbeteren. Mocht u op een van deze onderwerpen onze hulp kunnen gebruiken dan nodigen we u graag uit contact op te nemen met Bill van Mil via bvanmil@kwinkgroep.nl.