Spanningsvelden bij evaluaties: rol van betrokkenen en de onafhankelijkheid van de evaluatie (3/3)

KWINK groep evalueerde de afgelopen 15 jaar ontzettend veel beleid, organisaties, wetten en programma’s. Hierbij komen we vaak dezelfde spanningsvelden tegen. In deze serie lichten we drie van deze spanningsvelden uit. Het laatste spanningsveld: betrokkenheid van beleidsmedewerkers en de onafhankelijkheid van de evaluatie. Over deze spanningsvelden organiseerde KWINK groep een webinar. Ook ontwikkelde KWINK groep een whitepaper, die onderaan dit artikel te downloaden is.

Onafhankelijkheid van een evaluatie

Onze onafhankelijk als evaluator is een van de belangrijkste, zo niet dé belangrijkste pijler van ons werk. Onafhankelijkheid van de evaluator is de toegevoegde waarde ten opzichte van wat betrokkenen (zoals beleidsmedewerkers of medewerkers van de organisatie die we evalueren) zelf al zien en vinden. Deze onafhankelijkheid houdt in dat we komen tot conclusies zonder dat we ons daarbij laten leiden door opdrachtgevers of stakeholders. Daarbij stellen wij ons onpartijdig op en hebben we van tevoren nooit een bepaalde uitkomst voor ogen: dat wat wij ophalen tijdens ons onderzoek bepaalt de uitkomst.

Tegelijkertijd kan dit streven naar onafhankelijkheid ook doorschieten: een situatie die zich laat omschrijven als splendid isolation. Dit is een situatie waarbij het evaluatieonderzoek is losgezongen van de praktijk van de beleidmakers en -uitvoerders. Hierbij bestaat het risico dat de evaluatie te weinig aandacht heeft voor neveneffecten en dat (te lang) wordt vastgehouden aan onhaalbaar beleid. [1]

Het betrekken van beleidsmedewerkers en andere stakeholders komt daarbij het draagvlak van de evaluatie ten goede, en vergroot de kans dat dat de bevindingen en aanbevelingen leiden tot verandering. Het is namelijk van belang dat de geëvalueerden en andere betrokkenen zich kunnen herkennen in de uitgevoerde evaluatie en de aanbevelingen die daaruit voorkomen. Juist in het belang van gezamenlijk lessen leren bij een evaluatie (spanningsveld 1). Daarom is het noodzakelijk om stakeholders te betrekken bij de evaluatie. [2]

Betrokkenheid bij of beïnvloeding van een evaluatie?

Echter ligt in het betrekken van stakeholders ook beïnvloeding en een aantasting van de onafhankelijkheid op de loer. Een voorbeeld waarbij wij deze spanning tegenkomen is bij het herschrijven van stukken. Vaak leggen we onze (concept)rapporten voor aan de opdrachtgever en de organisatie die we evalueren. Zij krijgen dan de kans om feitelijke onjuistheden eruit te halen en nuanceringen te plaatsen. Vaak krijgen we dan ook reacties op bijvoorbeeld de aanbevelingen die we doen: ‘als jullie het anders opschrijven kunnen we er meer mee’, of ‘met deze formulering kan dit veel kritiek opleveren’. Soms komen we tegemoet aan dit soort reacties: hoe bruikbaarder het rapport, des te meer impact het kan genereren. We nemen echter nooit iets klakkeloos over. We blijven bij de bevindingen die uit het onderzoek naar voren kwamen. Soms vinden we dat de reacties te ver gaan. Het gaat dan bijvoorbeeld over het schrappen van teksten of opmerkingen als ‘dit moet uit het rapport’. Uiteraard geven we dit terug aan de opdrachtgever en nemen we dit soort suggesties niet over. Deze manier van becommentariëren leidt tot het risico op verlies van onafhankelijkheid. Daarnaast kan het herschrijven van een rapport totdat het aanvaardbaar is voor alle betrokkenen resulteren in dusdanige algemeenheden dat het onduidelijk is of de aangedragen oplossingen wel passen bij de geconstateerde problemen. [2]

De gulden middenweg in evaluaties?

Waar we als evaluatoren dus enerzijds enorm veel waarde hechten aan de onafhankelijkheid van de evaluatie, willen we anderzijds waarborgen dat onze evaluaties impact hebben en oog blijven houden door de praktijk van de uitvoering. Over dit spanningsveld gaan we graag in gesprek.

Verder lezen

[1] Knottnerus, A., De Goede, P. en Van der Knaap, P. (2016). Systematisch leren van evalueren Waarden, effectiviteit, onafhankelijkheid en kwaliteit als pijlers voor de brug tussen wetenschap en politiek. Bestuurskunde, (25) 2: 6-18.

[2] Knottnerus, A. (2016). Van casus-specifieke beleidsevaluatie naar systematische opbouw van kennis en ervaring. Beleidsonderzoek Online.

Whitepaper

Download hier de whitepaper over spanningsvelden bij evaluatieonderzoek