Natural Language Processing als nieuwe onderzoeksmethode

Achtergrond onderzoek

KWINK groep gebruikt een divers palet aan onderzoeksmethoden voor projecten. Veelal maken we gebruik van kwalitatieve methoden, zoals documentstudies, interviews en focusgroepen. Bij het gebruik van kwantitatieve methoden gaat het om cijfermatige analyses. De kwantitatieve data verzamelen we zelf, bijvoorbeeld door middel van enquêtes, of ontvangen we van de opdrachtgever of andere betrokken partijen. KWINK groep is nieuwsgierig naar hoe we onze kwantitatieve methoden kunnen verrijken. Feline heeft tijdens haar master Societal Resilience aan de Vrije Universiteit Amsterdam ervaring opgedaan met Natural Language Processing (NLP), een geautomatiseerde methode om inzichten uit teksten te halen. Daarom heeft KWINK groep haar gevraagd om tijdens haar stage deze methode verder te verkennen.

Wat is Natural Language Processing?

NLP is een vakgebied dat zich bezighoudt met het analyseren van menselijke taal en de communicatie tussen mens en computer. Het is een complexe combinatie van computerwetenschap, kunstmatige intelligentie en computationele linguïstiek. Simpel gezegd is NLP de vaardigheid van een computerprogramma om menselijke taal te begrijpen. NLP wordt overal om ons heen gebruikt, denk bijvoorbeeld aan de e-mailfilters zoals spam, vertalingen via Google translate of slimme assistenten zoals Siri. Onderzoekers kunnen NLP op eenzelfde manier inzetten om relevante informatie uit teksten, zoals nieuwsberichten of kamerstukken, te halen.

De waarde van Natural Language Processing voor KWINK groep

Voor KWINK groep is deze methode relevant omdat zij voor al hun projecten in ieder geval een handmatige document- en/of literatuurstudie uitvoeren. Deze methode biedt vooral voordelen wanneer met grote tekstuele datasets wordt gewerkt. Met NLP kan in een korte tijd grote datasets consistent en gestructureerd worden geanalyseerd. Handmatig kost dit meer tijd en loopt men vaak tegen problemen aan door menselijke fouten. Als je bijvoorbeeld moe wordt of afgeleid raakt is dit van invloed op hoe je iets analyseert. Daarnaast kunnen menselijke percepties de analyse beïnvloeden. Wanneer een tekst bijvoorbeeld gaat over vrouwenquota kan jouw mening over en gevoel bij dit thema ervoor zorgen dat je de tekst op een bepaalde manier analyseert. Dit risico wordt verminderd dankzij het gebruik van NLP, computers kennen immers geen percepties. Het is echter van belang om te realiseren dat computers analyses nooit volledig objectief zijn: doordat data en software gecreëerd wordt door mensen zal er altijd een zekere mate van bias inzitten.

Verkennen van Natural Language Processing

Door middel van een literatuurstudie, interviews en een focusgroep heeft Feline onderzocht wat NLP precies is en hoe dit ingezet zou kunnen worden voor onderzoeken van KWINK groep. Uiteindelijk heeft ze deze input en mijn eigen ervaring gebruikt om NLP toe te passen op een case study. Voor deze case study heeft Feline twee verschillende NLP technieken toegepast op een dataset van nieuwsartikelen. Door middel van een sentiment analysis probeerde ze te achterhalen met welk sentiment (positief, negatief of neutraal) de artikelen waren geschreven. Daarnaast heeft ze topic modeling gebruikt om inzicht te krijgen in welke verschillende thema’s in de nieuwsartikelen worden besproken.

Nieuwe kans met uitdagingen

Uit het onderzoek blijkt dat NLP een breed scala aan mogelijkheden en voordelen kent. Feline geeft aan: Ik denk dat NLP KWINK groep nieuwe methodologische kansen biedt. Ondanks deze kansen komen er ook risico’s bij kijken waarvoor je moet waken. Eén van de valkuilen is dat onderzoekers vaak teveel verwachten van NLP. NLP kan nieuwe inzichten bieden, maar het kan niet zomaar alles voor je oplossen. Ik heb een aantal specifieke tips waar je in ieder geval op moet letten wanneer je NLP wil inzetten voor een project. Eén daarvan is hoe belangrijk het is om van tevoren je onderzoek goed af te bakenen en je uitkomsten altijd te valideren. Door middel van NLP kan je specifieke onderzoeksvragen goed beantwoorden. Op grote, overkoepelende vragen kan enkel een NLP-analyse vaak geen antwoorden bieden. Om te voorkomen dat je conclusies trekt op basis van ontoereikende analyses moet je van tevoren je onderzoek heel scherp hebben. Het valideren van je uitkomsten is zo belangrijk omdat NLP nooit 100% correcte uitkomsten biedt. Valideren kan je bijvoorbeeld doen door een sample van je data handmatig te controleren.

Ik wens KWINK groep veel succes met het verder verkennen van deze nieuwe methode!