Hoe gaat het Rijk om met AI? Het kan beter, zegt de Rekenkamer
De Rijksoverheid experimenteert met kunstmatige intelligentie, maar weet vaak niet of de AI-systemen in gebruik zijn naar behoren werken. Ook schatten ambtenaren de risico’s van AI niet of te laag in. Dat blijkt uit onderzoek van de Rekenkamer.
De Rijksoverheid wil kunstmatige intelligentie (AI) gebruiken om interne processen efficiënter te maken. Toch weet men van 35% van de AI-systemen niet of die naar behoren werken. Voor meer dan de helft van de AI-systemen die het Rijk gebruikt, zeggen overheidsorganisaties dat de kansen nog niet zijn afgewogen tegen eventuele risico’s. Bovendien is er een prikkel bij ambtenaren om de risico’s te laag in te schatten.
Dit concludeert de Algemene Rekenkamer op basis van onderzoek bij 70 organisaties die deel uitmaken van de Rijksoverheid. De organisaties hebben bij elkaar 433 AI-systemen opgegeven. Het onderzoek geeft voor het eerst inzicht in hoeveel AI het Rijk gebruikt en waarvoor. De Rekenkamer heeft haar bevindingen gepubliceerd in het rapport ‘Focus op AI bij de Rijksoverheid’.
Dit zijn de belangrijkste conclusies uit het rapport:
Rijk experimenteert met AI
Het gebruik van AI binnen het Rijk is nog niet erg wijdverbreid. De meeste systemen (167) zijn nog lopende experimenten, en veruit de meeste organisaties (88%) geven aan niet meer dan 3 AI-systemen te gebruiken. Slechts 5% van de systemen is te vinden in het openbaar algoritmeregister. De organisaties die het meest gebruik maken van AI zijn de politie en het UWV. Zij gebruiken respectievelijk 23 en 10 AI-systemen.
Vooral voor interne processen
Zo’n twee derde van alle systemen is gericht op interne processen die niet direct impact hebben op burgers en bedrijven, zoals het doorzoeken en verwerken van grote hoeveelheden informatie om processen te optimaliseren. Door AI die bijvoorbeeld gesprekken automatisch omzet naar tekst, of documenten in een handomdraai kan anonimiseren, kan de overheid veel tijd en geld besparen. Ook kost het doorzoeken van interne documenten aanzienlijk minder moeite dan wanneer ambtenaren dat handmatig moeten doen, meldt de Rekenkamer.
Prestaties onbekend
Opvallend is dat Rijksorganisaties vaak niet weten of de AI-systemen die zij gebruiken naar behoren presteren. Bij 35% van de systemen die in gebruik zijn, is niet bekend of het AI-systeem de verwachting waarmaakt. Dat gebeurt bijvoorbeeld wanneer niet van tevoren is bepaald wat het doel is, of wanneer het systeem een succes is. Wat ook opvalt, is dat organisaties vaak positief zijn over AI-systemen die zij niet meer gebruiken. 82 van de 141 beëindigde AI-systemen (58%) presteert volgens de organisaties naar verwachting of zelfs beter. Dat ze toch worden beëindigd komt bijvoorbeeld door gebrek aan capaciteit om ze verder te ontwikkelen.
Risico’s verschillen per systeem
Het gebruik van AI biedt kansen, maar er zijn ook risico’s. Die worden deels ondervangen met een nieuwe Europese AI-verordening. Onder de nieuwe regels moeten alle AI-systemen worden beoordeeld op risico’s. Een systeem dat toeslagen regelt voor kwetsbare huishoudens is bijvoorbeeld risicovoller dan AI die gebruikt wordt om snel ambtelijke teksten te kunnen samenvatten. Kunstmatige intelligentiesystemen met onaanvaardbare risico’s moeten gestopt worden, systemen met een hoog risico moeten in de toekomst aan extra voorwaarden voldoen.
Minimaal risico, niet risicovrij
Organisaties classificeerden het risico bij de meeste AI als ‘minimaal’. Dat betekent echter niet dat deze systemen ook echt risicovrij zijn. Het gaat dan bijvoorbeeld om mogelijke privacy-schending, slechte informatiebeveiliging of een mogelijk negatieve impact op burgers en bedrijven, bijvoorbeeld als gevolg van oneerlijke vooroordelen.
‘We zien kansen, maar ook risico’s’
Collegelid Ewout Irrgang van de Algemene Rekenmaker ziet in het algemeen de voordelen van het gebruik van AI bij het Rijk: “Met name in de bedrijfsvoering zien we veel systemen met weinig risico die de overheid nu al efficiënter maken. Het gebruik is nog beperkt, maar onze indruk is dat het overheidsprocessen sneller, goedkoper en doelgerichter maakt.” Irrgang waarschuwt echter ook voor de risico’s: “We zien ook de risico’s. Een probleem is dat de overheid de afweging qua risico zelf moet maken. Er is een prikkel om het risico van een AI-systeem als minimaal te classificeren zodat het systeem niet aan alle eisen hoeft te voldoen.”
Advies
De Rekenkamer pleit voor een vorm van toezicht en controle, zodat de Tweede Kamer en kabinet meer zekerheid hebben dat er voldoende waarborgen zijn voor AI-systemen met hogere risico’s.
Download rapport Rekenkamer ‘Focus op AI bij de Rijksoverheid’
Beluister interview met Ewout Irrgang
Gids AI-Verordening
De Gids AI-Verordening maakt voor ondernemers en organisaties inzichtelijk wat de inhoud en mogelijke implicaties van de Europese AI-verordening zijn voor hun gebruik en ontwikkeling van artificiële intelligentie (AI). In de AI-verordening staan regels voor het verantwoord ontwikkelen en gebruiken van AI door bedrijven, overheden en andere organisaties met als doel om de veiligheid, gezondheid en fundamentele rechten van mensen te beschermen.
Bron: Algemene Rekenkamer, 16 oktober 2024
Rijksoverheid schat risico’s AI vaak niet in | Nieuwsbericht | Algemene Rekenkamer
Focus op AI bij de rijksoverheid | Rapport | Algemene Rekenkamer