Lessen uit vijftien zbo-evaluaties

We trapten deze serie af met lessen uit vijf beleidsdoorlichtingen. In dit tweede artikel gaan we in op onze lessen uit 15 zbo-evaluaties. Over drie weken ronden we de serie af met lessen uit onderzoek naar doelmatigheid.

Download hier onderstaand artikel of lees verder op deze pagina.

—

Lessen uit vijftien zbo-evaluaties

KWINK groep heeft de afgelopen jaren bijna vijftien zelfstandig bestuursorganen geëvalueerd.[1] De zbo’s die we evalueerden zijn zeer divers, variërend in bijvoorbeeld grootte, complexiteit en soort taken. Tegelijkertijd zien we overeenkomsten: zaken die ons bij veel van de zbo’s zijn opgevallen, of aanbevelingen die voor meerdere zbo’s relevant bleken te zijn. We hebben een aantal van de lessen die we hebben opgedaan op een rij gezet, omdat deze waardevol zijn voor zowel zbo’s als voor de ministeries die de rol van opdrachtgever en eigenaar vervullen.

Doelstellingen zbo’s: werk ze uit en praat erover

Voor veel van de zbo’s die we evalueerden zijn de doelstellingen en beoogde resultaten niet uitgewerkt. Soms zijn er wel doelstellingen, maar zijn deze niet geoperationaliseerd. Hierdoor hebben zowel de opdrachtgevende ministeries als het zbo zelf geen of beperkt zicht op de mate waarin het zbo heeft bijgedragen aan de beoogde doelstellingen.

Vaak ook zijn er alleen doelstellingen op het niveau van activiteiten. In dat geval kan wel vastgesteld worden dat een zbo de activiteit heeft uitgevoerd, maar niet hoe goed het zbo dit heeft gedaan. Bijvoorbeeld: een zbo heeft als doelstelling om wettelijke taken uit te voeren, één van die taken is om toezicht te houden op bepaalde bedrijven. Als het zbo op een aantal bedrijven inspecties heeft uitgevoerd, dan heeft het zbo dus activiteiten uitgevoerd ten behoeve van deze wettelijke taak. Dit zegt echter nog niets over hoe goed dit toezicht is geweest: misschien was het toezicht wel te reactief of heeft de toezichthouder niet de juiste interventies ingezet (en zou bijvoorbeeld een andere interventiestrategie mogelijk tot meer doelbereik hebben geleid).

We bevelen zbo’s en ministeries daarom aan heldere doelstellingen op te stellen. Hierbij helpt het om te beginnen met het beantwoorden van onderstaande vragen. Hiermee kan in de toekomst een nauwkeurig(er) antwoord gegeven worden op de vraag of het zbo doeltreffend heeft gefunctioneerd.

Meer aandacht bij zbo’s en ministeries voor maatschappelijke doelen

Bij het uitwerken van doelen raden we zbo’s en ministeries specifiek aan om aandacht te hebben voor de maatschappelijke doelstellingen: de redenen voor het bestaan van een zbo.

Het valt ons namelijk op dat een aantal van de zbo’s die we hebben geëvalueerd vrij taakgericht is. Deze zbo’s zijn gericht op het uitvoeren van de taken en het optimaliseren van werkprocessen. Er is minder aandacht voor de (maatschappelijke) doelen van de organisatie. Zo is niet altijd duidelijk (bij het zbo zelf en bij het opdrachtgevende ministerie) aan welke beleidsdoelen het zbo dient bij te dragen. Ook zijn de eigen doelen van het zbo niet altijd helder of heeft het ministerie deze niet scherp. Ook wanneer er wel duidelijke doelstellingen zijn is niet altijd duidelijk hoe de activiteiten van het zbo bijdragen aan deze (beleids)doelstellingen. Tot slot ontbreekt het vaak aan cijfers op het niveau van (beleids)doelstellingen en zijn er met name cijfers beschikbaar op het niveau van activiteiten. Een voorbeeld is dat het Bureau Architectenregister (dat we in 2020 evalueerden) onder andere als missie heeft de waarde van de architectentitel duidelijk te maken. Het Bureau Architectenregister verzameld echter geen informatie waarmee iets gezegd kan worden over het bereiken van dit onderdeel van de missie. Interessante informatie in dit licht zou bijvoorbeeld zijn in hoeverre opdrachtgevers van architecten ermee bekend zijn dat iemand die te titel ‘architect’ gebruikt geregistreerd moet zijn in het architectenregister.

We zijn ons ervan bewust dat het complex is maatschappelijke doelstellingen te operationaliseren. Deze doelstellingen zijn vaak lastig te meten en er zijn veel factoren van invloed op, naast de activiteiten van het zbo. Daarnaast kunnen er andere redenen zijn om doelstellingen juist abstract te houden, bijvoorbeeld dat er geen politieke consensus is over de doelen, dat er rekening gehouden wordt met het risico om afgerekend te worden op het niet behalen van doelen of dat te concrete doelen de flexibiliteit van het zbo inperken.

Desalniettemin zijn wij van mening dat het zbo en het opdrachtgevend ministerie wel enig inzicht dienen proberen te krijgen in de bijdrage van de activiteiten van het zbo en de uiteindelijke impact die wordt beoogd. Pas als hier inzicht in is kunnen namelijk strategische keuzes gemaakt worden.

Werk aan de relatie tussen het zbo en de departementen

De governancerelatie tussen het zbo en het departement kan bij bijna alle zbo’s die we evalueerden nog verbeterd worden. De governancerelatie is belangrijk, omdat een goede relatie kan bijdragen aan het doeltreffend en doelmatig functioneren van het zbo. Departementen kunnen bijvoorbeeld aangeven wat (nieuwe) beleidsdoelen betekenen voor de gewenste prioritering door het zbo. Ook kunnen de departementen en het zbo in gesprek gaan over op welke activiteiten het zbo meer of juist minder zou moeten inzetten om zo doeltreffend mogelijk te zijn.

De circulaire ‘governance ten aanzien van zelfstandig bestuursorganen’ (van mei 2015) geeft handvatten voor het inrichten van de governance. Voor het toepassen hiervan geldt ‘pas toe of leg uit’. In de praktijk zien we dat de (inhoud van) de circulaire nog lang niet altijd bekend is bij zbo’s en ministeries. Een aantal behulpzame handvatten uit de circulaire zijn meestal niet uitgewerkt (waarbij ook niet is uitgelegd waarom dit niet is gebeurd). Een belangrijk punt uit de circulaire zijn werkafspraken tussen het ministerie en het zbo, die lang niet altijd zijn vastgelegd. We bevelen in onze evaluaties dan ook vaak aan om werkafspraken op te stellen en hebben bijvoorbeeld voor het ministerie van Justitie en Veiligheid en de Kansspelautoriteit een relatiestatuut opgesteld. Hierin staat bijvoorbeeld de afspraak dat de organisaties elkaar niet zullen verrassen en worden afspraken gemaakt over ongevraagde advisering door het zbo.

Aanbod van KWINK groep

KWINK groep heeft methodieken ontwikkeld voor 1) het operationaliseren van doelen en het inzichtelijk maken van de bijdrage van activiteiten aan de doelen (een Theory of Change); 2) het opstellen van werkafspraken/relatiestatuten tussen opdrachtgever, eigenaar en zbo en 3) het definiëren van doelmatigheid, toegepast op de specifieke organisatie. Mocht u op een van deze onderwerpen onze hulp kunnen gebruiken dan nodigen we u graag uit contact op te nemen met Pauline Modderman via pmodderman@kwinkgroep.nl.

[1] We evalueerden: het COKZ, de Raad voor Accreditatie, Zorginstituut Nederland, het Huis voor Klokkenluiders, het Bureau Architectenregister, Skal, het College voor de Rechten van de Mens, vier plantaardige keuringsdiensten (NAK, BKD, KCB en Naktuinbouw), de Waarderingskamer, de NTS en de ACM.