Geautomatiseerde tekstanalyse van duizenden pagina’s uit Kamerstukken

Achtergrond

Transparante onderbouwing van beleid is essentieel voor de Tweede Kamer om de controlerende taak uit te voeren. Daarom is in de Comptabiliteitswet (CW, art. 3.1) verankerd dat beleidsvoorstellen bij verzending naar de Tweede Kamer een onderbouwing bevatten van de doeltreffendheid en doelmatigheid van beleid. Om de aanwezigheid, vindbaarheid en kwaliteit van deze toelichtingen te vergroten, heeft de minister van Financiën in 2021 de rijksbrede werkwijze ‘Beleidskeuzes uitgelegd’ gestart.

Deze werkwijze houdt in dat Kamerbrieven over voorstellen met financiële gevolgen vanaf €20 miljoen op jaarbasis, een kader moeten bevatten (het BU-kader) met daarin een toelichting op de doelstellingen, de in te zetten instrumenten, de financiële gevolgen en de verwachte doeltreffendheid en doelmatigheid. Begin 2023 voerde het ministerie van Financiën een evaluatie uit van de werkwijze.

Comptabiliteitswet artikel 3.1

In artikel 3.1 van de Comptabiliteitswet (CW) is opgenomen dat beleidsvoorstellen van de regering een toelichting bevatten op:

1. De doelstellingen, de doeltreffendheid en de doelmatigheid die worden nagestreefd;
2. De beleidsinstrumenten die worden ingezet;
3. De financiële gevolgen voor het Rijk en, waar mogelijk, de financiële gevolgen voor maatschappelijke sectoren.

Deelonderzoek: geautomatiseerde tekstanalyse

Als onderdeel van deze evaluatie heeft het ministerie van Financiën KWINK groep gevraagd het feitelijke gebruik van het BU-kader door Kamerleden in kaart te brengen. Hiervoor moest er in kaart gebracht worden hoe vaak, door wie en wanneer informatie van het BU-kader al dan niet is gebruikt in alle Kamerstukken die gerelateerd zijn aan beleidsvoorstellen, zoals debatten en schriftelijke vragen.

Vanwege de omvang van het aantal stukken (in totaal zo’n 3.000 pagina’s aan tekst), hebben we een geautomatiseerde tekstanalyse ontwikkeld en uitgevoerd in samenwerking met Greenfield Data Enhancing. Deze geautomatiseerde tekstanalyse stelde ons in staat het grote aantal kwalitatieve Kamerstukken op snelle en consistente wijze te verwerken.

Benieuwd naar de resultaten? Lees ons deelonderzoek hier.

Benieuwd naar de volledige evaluatie en de reactie van de minister? Lees ze hier.

Toepassing van kwantitatieve tekstanalyse in beleidsonderzoek

KWINK groep heeft ervaring met kwantitatief onderzoek. Zo voerden we al eerder geautomatiseerde tekstanalyses van Kamerstukken uit in het kader van de evaluatie van de pilot CW3.1, de voorloper van de BU-werkwijze. Daarnaast stellen we regelmatig kwantitatieve monitors op om de voortgang op beleidsdoelen te meten en zijn kwantitatieve analyses belangrijk onderdeel van veel van onze (evaluatie)onderzoeken (zie bijvoorbeeld de evaluatie van zes subsidieregelingen van het Fonds Podiumkunsten). Kwantitatieve tekstanalyse stelt ons in staat om grote hoeveelheden kwalitatieve informatie (zoals Kamerstukken, maar ook jaarverslagen of nieuwsberichten). Benieuwd naar de mogelijkheden? Neem contact op met Rosanna Cohn (rcohn@kwinkgroep.nl).