Lessen uit vijf beleidsdoorlichtingen

We trappen de serie af met dit artikel over lessen uit vijf beleidsdoorlichting. In het tweede artikel van deze serie gaan we in op onze lessen uit 15 zbo-evaluaties. Over drie weken ronden we de serie af met lessen uit onderzoek naar doelmatigheid.

Download hier onderstaand artikel of lees verder op deze pagina.

—

Lessen uit vijf beleidsdoorlichtingen

In 2018 komt uit onderzoek naar voren dat de opbrengst van beleidsdoorlichtingen in de praktijk vaak beperkt is: Beleidsdoorlichtingen werken niet zoals ze zijn bedoeld. De doeltreffendheid en doelmatigheid van het gevoerde beleid komen niet goed in beeld. De belangrijkste oorzaak is dat beleidsdoorlichtingen meestal niet gebaseerd zijn op goede onderliggende evaluaties van beleidsmaatregelen.[1] Dit beeld herkennen wij. Een beleidsdoorlichting betreft een syntheseonderzoek waarin op basis van beschikbaar materiaal – bijvoorbeeld uitgevoerde onderzoeken en evaluaties – uitspraken moeten worden gedaan. Vaak is de doeltreffendheid en doelmatigheid van beleid en/of organisaties echter een complex samenspel van veel factoren. Een syntheseonderzoek en de informatie die beschikbaar is, kan dan al snel ontoereikend zijn om daarover harde uitspraken te doen.

Een logische vraag is dan: waarom is de beschikbare informatie ontoereikend? KWINK groep heeft in de periode 2018-2020 vijf beleidsdoorlichtingen uitgevoerd, waaronder de beleidsdoorlichting van de Inspectie Leefomgeving en Transport (ILT), de Douane, het KNMI, en het klimaatbeleid uit artikel 19.[2] Als we terugkijken op deze onderzoeken, vallen ons drie dingen op die een verklaring vormen voor de vraag waarom beschikbare informatie vaak ontoereikend is.

1. Zoektocht naar de juiste indicatoren
In de beleidsdoorlichtingen die wij hebben uitgevoerd is het vaak een zoektocht geweest naar de juiste indicatoren. Op grond van goed geformuleerde indicatoren kan men iets zeggen over de mate waarin beleid doeltreffend en doelmatig is. De indicatoren die wij aantreffen, zijn echter vaak niet meetbaar of niet op het juiste niveau geformuleerd. Hier kunnen allerlei redenen aan ten grondslag liggen. Soms is het een bewuste keuze geweest en andere keren was het lastig om goede indicatoren te formuleren. Toch is het belangrijk om het gesprek hierover te voeren: wanneer vinden we ons beleid of ons functioneren succesvol? Wat kunnen we doen om dat te helpen realiseren? En hoe houden we zicht op de mate waarin dit ons lukt?

We zien bijvoorbeeld regelmatig dat er wel informatie is op output niveau (activiteiten, resultaten), maar niet op outcome niveau (effecten). Zo zagen we bij zowel Douane als de ILT dat in de bijbehorende beleidsartikelen indicatoren waren opgenomen die alleen iets zeiden over aantallen controles en niets over het bereikte effect. Douane controleert bijvoorbeeld containers op de aanwezigheid van illegale middelen (output), maar daarnaast is het ook relevant om inzichtelijk te maken in welke mate deze controles ertoe leiden dat er geen illegale middelen worden ingevoerd (naleving) en de effecten van die naleving op de maatschappij, zoals volksgezondheid.

Ons advies is om expliciet een relatie te leggen (en te expliciteren) tussen output, de outcome en het beleidsdoel waar dit aan bijdraagt. Dit maakt het mogelijk om structureel en systematisch doeltreffendheid en doelmatigheid van beleid te monitoren, te evalueren en er verantwoording over af te leggen. Zo kan namelijk beter in beeld worden gebracht in welke mate beleid doeltreffend is. Bovendien draagt dit inzicht bij aan het maken van effectgerichte keuzes, ten einde de doeltreffendheid te vergroten. Deze informatie stelt onderzoekers vervolgens ook beter in staat om in beleidsdoorlichtingen over een langere periode trends en ontwikkelingen in beeld te brengen en beter uitspraken te doen over de doelmatigheid en doeltreffendheid van het beleid.

2. Vaak weinig (goede) informatie beschikbaar over doelmatigheid
We constateren dat er vaak weinig (goede) informatie beschikbaar is over de doelmatigheid van het beleid. Doelmatigheid gaat over de relatie tussen de kosten en de effecten van het beleid. Er zijn vaak allerlei soorten kosten gemoeid met beleid en dus kan er ook naar allerlei informatie worden gekeken bij het beoordelen van doelmatigheid.

Wanneer de beleidsdoorlichting zich richt op een zelfstandig bestuursorgaan, wordt vaak gekeken naar rechtmatige bestedingen, de mate waarin binnen het budget is gebleven en andere informatie over bedrijfsvoering. Hier is vaak – maar zeker niet altijd – bruikbare informatie over beschikbaar. Het gaat dan om zaken als kosten externe inhuur, ontwikkelingen in uitgaven, om maar eens een iets te noemen. Maar, doelmatigheid is meer dan het primaire proces en bedrijfsvoering. Het gaat ook over de doelmatigheid van het beleid. Doelmatigheid gaat over doen we de dingen goed en efficiënt, maar ook over doen we de juiste dingen? Er staan dan vragen centraal als: worden innovaties op een slimme manier gebruikt? We zien regelmatig dat goede informatie hierover schaars is.

We geven een voorbeeld aan de hand van risicogericht toezicht. Risicogericht toezicht verwijst naar toezicht waarbij ieder risico de aandacht krijgt die het verdient, in plaats van alle risico’s evenveel. Door de inzet van middelen te verplaatsen naar onderdelen waar de risico’s het grootst zijn kan met dezelfde middeleninzet meer maatschappelijk effect worden gerealiseerd. Technologische innovaties maken vaak verbeterde of nieuwe manieren van risicogericht toezicht mogelijk. Hoewel de uitgaven aan deze innovaties goed in beeld kunnen worden gebracht, is het veel lastiger om de winst die hiermee behaald wordt (in geld, dan wel in maatschappelijk effect) meetbaar te maken. We zien dan ook vaak dat hier onvoldoende aandacht voor is bij zowel beleidsmakers als uitvoerende organisaties. Dat is opmerkelijk, want het gaat over een heel wezenlijk onderdeel van doelmatigheid.

Ons advies is om doelmatigheid vanuit een breder perspectief te benaderen. Inventariseer de verschillende invalshoeken voor doelmatigheid, beoordeel op welke invalshoeken je goed moet scoren, en bepaal wat nodig is om doelmatig te zijn op die invalshoek. Voorbeelden van verschillende invalshoeken zijn financiële kengetallen, hr-kengetallen en inzicht in kosten(ontwikkeling). Maar ook een strategie voor het benutten (en investeren in) innovaties of een strategie voor de inzet van fte op verschillende taken en functies bieden een invalshoek voor doelmatigheid. Opnieuw geldt: doelstellingen en de investeringen daarin te expliciteren en (waar mogelijk) meetbaar te maken, kan op systematische wijze informatie worden verzameld. Dit vergroot het inzicht in de effecten van investeringen en draagt bij aan beter inzicht in de doelmatigheid van uitgaven en activiteiten.

3. Organisaties en beleidsmakers lijken vaak overvallen door beleidsdoorlichting
Ten slotte valt ons op dat organisaties en beleidsmakers vaak overvallen lijken door een beleidsdoorlichting. Er wordt dan gehaast in kaart gebracht over welke onderwerpen informatie beschikbaar is en waar nog witte vlekken zijn. Terwijl je eigenlijk zou hopen – en verwachten – dat er een meer proactieve evaluatiekalender achter beleid schuil gaat. Bij zo’n kalender zou men stil moeten staan bij: er is beleid, het kent de volgende onderwerpen, en hoe zorgen we ervoor dat we de komende zeven jaar de juiste dingen monitoren of onderzoeken zodat daar bij de volgende beleidsdoorlichting uitspraken over gedaan kunnen worden? Ook biedt dit de mogelijkheid om, in het licht van de vaak beperkte tijd en capaciteit, keuzes te maken ten aanzien van onderwerpen die wel of niet (of: meer of minder) worden gemonitord. Bijvoorbeeld: naar welk beleid gaan veel financiële middelen en willen we een goed beeld van de doeltreffend- en doelmatigheid?

Neem bijvoorbeeld het klimaatbeleid, dat wij doorlichtten voor de periode 2012-2016 en in dat laatste jaargepaard ging met ruim 20 miljoen euro. Er was voor die periode geen expliciete beleidstheorie geformuleerden een consistente verantwoording van het beleid ontbrak. Zoals te verwachten constateerden we vervolgensook dat er in de periode 2012-2016 een aantal witte vlekken waren binnen de verantwoording van uitgaven.Voor een beleid dat gepaard gaat met dergelijke uitgaven en dat bij moet dragen aan zo’n grotemaatschappelijke opgave, is een proactieve evaluatiekalender veel meer dan een periodieke plichtpleging. Het verschaft noodzakelijke informatie voor beleidsmakers om tussentijds te meten en bij te sturen en nietalleen achteraf.

Wij adviseren dat, wanneer binnen een evaluatiekalender prioriteiten moeten worden gesteld, beleidsmakers beoordelen welk beleid met de grootste onzekerheid gepaard gaat en/of waar veel geld mee gemoeid gaat. Dit zijn de onderwerpen waar in ieder geval zicht op moet zijn. Bovendien zijn er verschillende manieren denkbaar om (laagdrempelig) te zorgen dat er (meer) bruikbare informatie komt over het beleid en kan dit worden gedaan op een manier dat de beleidsmaker er tussentijds ook wat aan heeft. Bijvoorbeeld door te werken met experimenten of pilots. Door hier vooraf over na te denken wordt het risico op ontbrekende of ontoereikende informatie verkleind. Bovendien zijn niet alleen onderzoekers die een beleidsdoorlichting uitvoeren hierbij gebaat, maar ook de beleidsmaker zelf, dankzij beter tussentijds inzicht in de effecten van het eigen beleid.

[1] Zie: https://www.rijksoverheid.nl/documenten/kamerstukken/2019/02/04/bijlage-3-beleidsdoorlichtingen-belicht
[2] In 2018 voerden we de beleidsdoorlichting uit van artikel 19 van de Rijksbegroting (Klimaat) in opdracht van het ministerie van Economische Zaken en Klimaat. In 2019 voerden we de beleidsdoorlichting uit van artikel 24 Handhaving en Toezicht van het ministerie van IenW, waarbij de doeltreffendheid en doelmatigheid van de Inspectie Leefomgeving en Transport (ILT) centraal stonden. Ook voerden we in 2019 de beleidsvoorlichting van artikel 23 Meteorologie en Seismologie van het ministerie van IenW uit, waarbij we de doeltreffendheid en doelmatigheid van het KNMI evalueerden. In 2020 voerden we een beleidsdoorlichting uit van artikel 1 Belastingen in opdracht van het ministerie van Financiën/Belastingdienst, waarbij we de doeltreffendheid en doelmatigheid van Douane evalueerden. Ten slotte voerden we een eerder een beleidsvoorlichting van artikel 10 uit de Rijksbegroting uit, destijds beleid op het gebied van elektronische
communicatie.