Gebruiken accountants al AI in de audit?
Accountants zijn nog afwachtend met het gebruik van generatieve AI-tools bij de audit. Er is nu een leidraad van accountantsorganisatie NBA, maar de bal ligt nog steeds bij de accountants zelf.
De afwachtendheid blijkt uit een peiling onder circa honderd accountants, tijdens het symposium ‘AI in control’ op 28 november in Hoofddorp. De bijeenkomst werd georganiseerd door de Koninklijke Nederlandse Beroepsorganisatie van Accountants (NBA). Met de huidige ontwikkeling van kunstmatige intelligentie (AI) vragen accountants zich af hoe ze met de technologie moeten omgaan. Hiervoor heeft NBA-kerngroep Accounttech een leidraad opgesteld, die tijdens het symposium werd gepresenteerd (link zie onderaan).
Noot van de redactie: Met ‘AI’ bedoelt de NBA vooralsnog generatieve AI-tools zoals ChatGPT, dat al twee jaar bestaat. De ontwikkelingen op dit gebied gaan snel, maar nog niet zo snel dat accountants al kunnen uitkijken naar ‘narrow AI’, met toepassingen voor specifieke taken. TheDataConnection.nl is op zoek naar toepassingen in deze laatste categorie en concludeert dat de ontwikkeling van ‘echte AI’ in de accountancy nog van de grond moet komen.
Dagelijkse praktijk
“Enkele jaren geleden vroegen we ons af wat we met digitalisering moesten. Nu gaat het erom hoe AI-tools accountants kunnen helpen in hun dagelijkse praktijk,” zegt programmamanager Age Lammers van Accounttech. Vorig jaar ging het symposium over digitale controle, zegt hij. “Nu zijn we een stap verder. Generatieve AI geeft ons mogelijkheden die we tot voor kort niet hadden voorzien.” Lammers belooft dat het symposium tips voor de praktijk zal delen.
Toepassing valt tegen
De huidige toepassing van AI in de praktijk valt echter tegen. Slechts enkele handen in de zaal gaan de lucht in, als Mona de Boer, partner data & AI bij PwC, de vraag stelt: “Wie gebruikt als auditor een Large Language Model?”. De Boer doelt niet op generieke tools zoals ChatGPT, hoewel ze versie 4o ‘waanzinnig knap’ vindt gezien de toegenomen prestaties. Ze doelt op andere generatieve AI-tools, die net zoals ChatGPT werken op basis van grote taalmodellen.
LLMs voor audits
Grote taalmodellen (LLMs) kunnen volgens de Boer geschikt zijn voor het analyseren van teksten bij audits. Ze heeft dit getest met de Voorjaarsnota van een grote gemeente. Hierbij stelde ze aan de LLM Harvey verkennende vragen over het document, zoals doel en meest subjectieve zin (die staat volgens Harvey in het voorwoord van de wethouder). Volgens De Boer geeft de analyse met de LLM een ‘onderbuikgevoel’, dat aanleiding kan geven voor een vervolganalyse. Een menselijke check blijft echter onontbeerlijk.
Prompten
Auditors zouden meer moeten oefenen met ‘prompten’, het formuleren van de juiste vraag of opdracht, zegt De Boer. “Je kan aan de LLM vragen welke plannen niet haalbaar zijn op basis van de financiële situatie. Of door te vragen: welke vragen zou de externe accountant moeten stellen? En dan de LLM opdracht geven deze vragen in volgorde van belangrijkheid te zetten. Dat geeft meer context, een betere vraag en leidt tot meer dialoog. Ik ben blij met dit soort tools,” aldus De Boer.
Eind aan geploeter
Volgens De Boer maakt het gebruik van LLMs een einde aan het ‘ploeteren met data, waar we 60 tot 70 procent van de tijd mee bezig waren’. “Als de datakwaliteit in orde is kan dit percentage worden verlaagd naar 20 tot 30 procent. De tijd die vrijkomt kan dan worden besteed aan het verkrijgen van inzichten via data-analyse. We houden meer tijd over voor het analyseren van inconsistenties,” zegt Mona. Ze voorziet ‘waanzinnige mogelijkheden’. De Boer raadt aan om te beginnen met het testen van LLMs.
Inconsistenties
LLM’s kunnen bijdragen aan een hogere productiviteit en efficiency, blijkt uit onderzoek. Toch zijn ze verre van perfect, meldde TheDataConnection.nl eerder. “LLM’s kunnen biases en inconsistenties genereren. Dit komt door hoe ze getraind zijn op teksten,” zegt Alban Bastiaan, docent aan de Universiteit van Amsterdam en de Nyenrode Business Universiteit. Voor de toekomst benadrukt hij het belang van samenwerking tussen wetenschappers en accountants: wetenschappers ontwikkelen de evaluatiemethoden, terwijl accountants zorgen voor betere governance.
Kleinere modellen
Momenteel zijn LLM’s technisch niet uitlegbaar en moeilijk toetsbaar. Dit beperkt transparantie en beheersbaarheid in de praktijk, legt Bastiaan uit. “Kleinere modellen, ontworpen voor specifieke taken, kunnen hierin verbetering brengen. Hoewel ze qua prestaties minder krachtig zijn, zijn ze meer beheersbaar doordat tussentijdse resultaten beter te toetsen zijn.” Volgens Bastiaan blijft het belangrijk om altijd een ‘human in the loop’ te hebben, tussentijds en bij het eindoordeel. Hij vergelijkt dit met de digitale belastingaangifte: automatische invullingen vereisen altijd controle door de gebruiker.
Trainen en experimenteren
Gerke van Garderen, hoofd innovatie bij Joinson&Spice, zegt net als De Boer dat het nodig is om collega’s te trainen en te laten experimenteren met LLMs in een veilige omgeving. Hij ziet dat AI op diverse manieren kan helpen: als informatievinder, als notulist en memoschrijver, als sparring partner, als assistent data-analist en als reviewer. Hij voorziet dat door het gebruik van AI de rol van accountant verandert: meer procesbeheer in plaats van taken uitvoeren.
Onverwacht effect
“Accountants moeten blijven oordelen, maar kunnen uitvoerende taken uitbesteden aan AI in plaats van collega’s als assistenten,” zegt Van Garderen. Hij vertelt dat het verbeteren van de efficiency in eerste instantie de reden was om generatieve AI toe te passen, maar dat gaandeweg de kwaliteit van de audits verbeterde. “Dit effect hadden we niet zien aankomen. Nu is ook de kwaliteitsverbetering een drijvende kracht geworden voor het toepassen van AI.”
Kostendalingen?
Zal het gebruik van AI tot kostendalingen leiden? Dat is op voorhand niet te zeggen, zegt De Boer. Ze voorziet een verschuiving van taken, waarbij accountants hun analyse sneller uitvoeren en de vrijgekomen tijd benutten voor het stellen van kritische vragen op basis van de opgedane inzichten. “Als organisaties hun data en processen verder op orde krijgen zal dit in combinatie leiden tot een efficiëntere audit. Aan de andere kant moeten we ook checken of de tools goed werken. Dit kost ook tijd. Het is te vroeg om te concluderen dat de kosten zullen dalen.”
‘Ga aan de slag’
Hoe moeten accountants beginnen? Van Garderen adviseert met diverse accountancykantoren LLMs te testen in een veilige omgeving en reproduceerbare cases te delen. “Het gaat vooral om de praktische toepasbaarheid,” zegt Van Garderen. Een accountant van een klein kantoor vraagt in hoeverre NBA hierbij kan helpen. Volgens Marcel Bongers van de Taskforce AI kan de NBA kleinere kantoren helpen door kennis te delen en samenwerking te ondersteunen. Toch legt Bongers de bal bij de accountants zelf: “Ga er eerst zelf mee aan de slag. Zwemmen leer je ook pas door het te doen.”
Leidraad AI in Control
De Taskforce AI van NBA-kerngroep Accountech heeft de Leidraad ‘AI in Control’ opgesteld. “Doel is het procesmatig beheersen van een AI-systeem. Belangrijk is om hiermee ervaringen op te doen en de risico’s te leren kennen”, zegt Giel Dirkx, voorzitter van Accounttech-taskforce AI. De leidraad beschrijft zes stappen, van het bepalen van doelstellingen tot het monitoren en evalueren van het AI-systeem. Daarmee is het document vooral gericht op procesbeheer. De leidraad telt slechts twee casussen. Dat hadden er meer kunnen zijn. Volgens Gerke van Garderen is het interessant om casussen van externe partijen, zoals het UWV en Duo af te zetten tegen de leidraad. Dat ging iets te ver voor de werkgroep, maar kan in de toekomst gebeuren, aldus Van Garderen.