Hoe voorkom je discriminatie door machine learning?
Machine learning kan patronen ontdekken in grote hoeveelheden data. Maar hoe voorkom je dat het AI-systeem discrimineert? ‘Beleidsmakers zijn bezig met het bedenken van maatregelen, maar ze kunnen veel meer leunen op bestaande concepten en theorieën die hun waarde al hebben aangetoond in andere sectoren.’
Machine Learning (ML), een vorm van kunstmatige intelligentie (AI) waarbij patronen worden ontdekt in grote hoeveelheden data, kan heel handig zijn. Het wordt steeds vaker gebruikt, denk aan chatbot Chat GPT, voor gezichtsherkenning of aan spraaksoftware. Maar er zijn ook zorgen over de toepassing van ML-systemen in de publieke sector. Hoe voorkom je dat het systeem bijvoorbeeld discrimineert, of op grote schaal fouten maakt met negatieve effecten op burgers?
Wetenschappers van de TU Delft, waaronder Jeroen Delfos, onderzochten hoe lessen uit de systeemveiligheid kunnen bijdragen aan een veiliger ML systeem in de publieke sector. “Beleidsmakers zijn druk met het bedenken van maatregelen om negatieve effecten van ML tegen te gaan. Uit ons onderzoek blijkt dat zij veel meer kunnen leunen op bestaande concepten en theorieën die hun waarde al hebben aangetoond in andere sectoren,”‘ zegt Jeroen Delfos. “De AI-gemeenschap kan profiteren van het benutten van technische praktijken die al tientallen jaren veiligheidsproblemen aanpakken,” zegt hij op LinkedIn.
Leren van andere sectoren
In het onderzoek gebruikten Delfos en zijn collega’s concepten van systeemveiligheid en systeemtheorie om de uitdagingen van het gebruik van ML-systemen in de publieke sector te beschrijven. Delfos: “Concepten en tools uit de systeemveiligheidsliteratuur worden al veel gebruikt om de veiligheid van bijvoorbeeld de luchtvaart te ondersteunen, onder andere door ongelukken te analyseren met systeemveiligheidsmethodes, maar binnen het veld van AI en ML is dit nog niet gebruikelijk. Door de systeemtheoretische blik bekijken we veiligheid niet alleen als een resultaat van hoe de techniek werkt, maar juist als een resultaat van complexe set aan technische, sociale en organisationele factoren.”
De onderzoekers interviewden professionals uit de publieke sector om te zien welke factoren worden onderkend, en welke nog onderbelicht zijn.
Bias in data
Op een aantal punten kan terrein worden gewonnen om ML systemen in de publieke sector veiliger te maken. Zo wordt bijvoorbeeld bias in data nog vaak als een technisch probleem gezien, terwijl de oorsprong van die bias ver buiten het technische systeem kan liggen. Delfos: “Denk bijvoorbeeld aan de registratie van criminaliteit. In buurten waar de politie vaker surveilleert wordt logischerwijs meer criminaliteit geregistreerd, waardoor deze buurten overgerepresenteerd worden in criminaliteitscijfers. Een ML systeem dat geleerd wordt patronen te ontdekken in deze cijfers zal deze bias gaan herhalen of zelf versterken. Het probleem zit echter in de manier van registreren, en niet in het ML systeem zelf.”
Risico’s verminderen
Volgens de onderzoekers doen beleidsmakers en ambtenaren die bezig zijn met de ontwikkeling van ML systemen er goed aan om concepten van systeemveiligheid mee te nemen. Zo is het aan te raden om bij het ontwerpen van een ML systeem vooraf te identificeren wat voor ongelukken men wil voorkomen.
Verder is een les vanuit systeemveiligheid, bijvoorbeeld in de luchtvaart, dat systemen in de praktijk de neiging hebben om over tijd steeds risicovoller te worden, omdat veiligheid steeds ondergeschikter raakt aan efficiëntie zolang er geen ongelukken gebeuren. “Het is dus belangrijk dat veiligheid een terugkomend onderwerp is bij evaluaties en dat de eisen voor veiligheid worden gehandhaafd”, aldus Delfos.
Lees het paper over het onderzoek