Er was eens een LLM… en plotseling werd organisatiecultuur auditbaar

Het idee klinkt aantrekkelijk. Auditors zijn al jaren op zoek naar manieren om gedrag en cultuur binnen organisaties beter te begrijpen en te toetsen. Want iedereen weet inmiddels dat veel grote incidenten niet ontstaan door een ontbrekende control, maar door gedrag dat bestaande controls ondermijnt.

Maar toen ik het artikel las op Accountancy Vanmorgen, bekroop mij toch een lichte déjà-vu. Niet omdat het onderwerp oninteressant is, integendeel, maar omdat de oplossing die wordt gepresenteerd opvallend bekend aanvoelt.

Of misschien beter gezegd: het probleem is oud, de technologie nieuw, maar de methode verrassend vertrouwd.

Gedrag en cultuur: de zachte kant van auditing

Dat gedrag en cultuur relevant zijn voor interne beheersing is inmiddels nauwelijks nog een discussie. Fraudezaken en governance-schandalen van de afgelopen decennia laten telkens hetzelfde patroon zien.

De formele structuur van controls is aanwezig, maar de informele werkelijkheid binnen de organisatie werkt er dwars doorheen. Medewerkers voelen druk om targets te halen, managers sturen impliciet op resultaat boven regels, en afwijkend gedrag wordt genegeerd zolang de cijfers kloppen.

In dat licht is het logisch dat auditors steeds vaker kijken naar wat men de “soft controls” noemt: integriteit, aanspreekcultuur, voorbeeldgedrag van management en de ruimte om dilemma’s te bespreken.

Veel internal auditors doen dit al jaren via:

• interviews met medewerkers
• workshops over dilemma’s
• cultuurassessments
• root cause analyses na incidenten

Met andere woorden: het veld van behavioral auditing bestaat al lang. Het is geen nieuw vakgebied dat plotseling is ontstaan in het tijdperk van AI.

Wat is er dan nieuw aan “Behavioral Auditing 2.0”?

Volgens de nieuwe methode ligt de innovatie vooral in het gebruik van AI bij het analyseren van interviewdata.

Medewerkers worden geïnterviewd over hun ervaringen met governance, besluitvorming en interne controle. Die gesprekken worden vervolgens getranscribeerd en door een AI-model geanalyseerd. Het model zoekt naar patronen, thema’s en sentimenten in de teksten.

Het resultaat is een overzicht van terugkerende onderwerpen en mogelijke spanningen binnen de organisatiecultuur. Auditors kunnen deze inzichten vervolgens gebruiken om hun oordeel over cultuur en gedrag te verdiepen.

Op papier klinkt dat indrukwekkend. AI die patronen herkent in gesprekken over cultuur – het lijkt een stap richting een meer datagedreven vorm van auditing.

Maar wie iets langer naar de methode kijkt, merkt dat de kern eigenlijk verrassend eenvoudig is.

Oude analyse, nieuwe verpakking

Wat hier gebeurt is in essentie tekst- en patroonanalyse op interviewdata.

Dat is een techniek die in onderzoeks- en consultancywereld al tientallen jaren wordt gebruikt. Onderzoekers coderen interviewtranscripten, clusteren uitspraken en zoeken naar terugkerende thema’s.

Software voor kwalitatieve analyse bestaat al lang. Tools zoals NVivo of Atlas.ti worden al jaren gebruikt om interviews systematisch te analyseren. Het verschil is dat moderne AI-modellen dit proces sneller kunnen uitvoeren.

Dat is nuttig. Maar het verandert de aard van het onderzoek niet fundamenteel.

AI kan helpen om:

• grote hoeveelheden tekst sneller te verwerken
• patronen te clusteren
• samenvattingen te maken

Maar AI kan niet bepalen of mensen eerlijk antwoorden, of welke vragen zijn gesteld, of wie er wel en niet aan het woord is gekomen.

En precies daar zit de kern van cultuuronderzoek.

Het fundamentele probleem van cultuurmetingen

Gedrag en cultuur zijn per definitie moeilijk objectief te meten.

Niet omdat auditors dat niet willen, maar omdat cultuur zich manifesteert in subtiele sociale processen: groepsdruk, informele normen, impliciete verwachtingen en de manier waarop mensen elkaar aanspreken.

Een interview kan daar waardevolle inzichten in geven. Maar het blijft een momentopname van percepties.

Een AI-analyse van interviewteksten verandert dat niet wezenlijk. Het kan patronen in antwoorden zichtbaar maken, maar het maakt de onderliggende waarnemingen niet automatisch betrouwbaarder.

Het risico is zelfs dat er een vorm van pseudo-precisie ontstaat. Wanneer AI-analyse wordt gepresenteerd in dashboards en grafieken, kan het lijken alsof cultuur ineens kwantificeerbaar is geworden.

Maar een sentimentanalyse van interviews is nog geen meetinstrument voor integriteit.

Het bredere patroon: technologie zoekt een toepassing

Wat hier gebeurt past in een bredere trend die momenteel in veel sectoren zichtbaar is.

Nieuwe technologie – in dit geval grote taalmodellen – wordt geïntroduceerd, waarna organisaties op zoek gaan naar toepassingen die daarbij passen.

Dat leidt soms tot echte innovaties. Maar vaak ook tot iets subtielers: bestaande methoden krijgen een nieuw label.

Interviews worden plotseling AI-driven behavioral analytics.

Documentanalyse wordt intelligent knowledge extraction.

Rapportages worden AI-assisted insights.

De inhoud verandert niet altijd even veel, maar het verhaal eromheen wel.

Dat is op zichzelf niet problematisch. Technologie evolueert nu eenmaal. Maar het helpt wel om de verwachtingen realistisch te houden.

Wat auditors echt nodig hebben

Voor auditors ligt de echte uitdaging niet in het analyseren van interviewteksten, maar in het verbinden van gedrag met data.

Een cultuurprobleem wordt pas echt zichtbaar wanneer gedragsobservaties samenkomen met harde operationele signalen.

Denk bijvoorbeeld aan:

• uitzonderlijke omzetdruk aan het einde van een kwartaal
• opvallende override-patronen in autorisaties
• ongebruikelijke transactiestromen
• afwijkende bonusstructuren

Wanneer zulke patronen samengaan met signalen uit interviews – bijvoorbeeld druk vanuit management of angst om fouten te melden – ontstaat een veel krachtiger beeld van de organisatiecultuur.

Daar ligt wat mij betreft de echte toekomst van behavioral auditing: de combinatie van gedragsanalyse en data-analyse.

Niet cultuur meten met AI, maar gedrag begrijpen in de context van data.

Een nuchtere conclusie

Het idee om gedrag en cultuur beter te begrijpen is absoluut waardevol. Auditors die zich alleen richten op cijfers missen een belangrijk deel van het verhaal.

Maar de suggestie dat AI cultuur plotseling auditbaar maakt, gaat waarschijnlijk een stap te ver.

Wat we hier zien is eerder een praktische toepassing van bestaande analysetechnieken, versneld door moderne taalmodellen.

Handig? Zeker.

Revolutionair? Waarschijnlijk niet.

Of zoals een cynische auditor het misschien zou formuleren:

Er was eens een LLM.

En toen gingen we een probleem zoeken.