AI-transcriptietool voor ziekenhuizen hallucineert
Een generatieve AI-tool die veel wordt gebruikt in ziekenhuizen voor medische transcripties, hallucineert in 1 procent van de gevallen. Nabla, de maker van de tool, zegt te werken aan een oplossing.
Onderzoekers zeggen dat de transcriptietool die in ziekenhuizen wordt gebruikt, dingen verzint die niemand ooit heeft gezegd. De tool is gebaseerd op Whisper, een populaire transcriptietool van OpenAI. Deze tool heeft een groot gebrek: het is geneigd om stukken tekst of zelfs hele zinnen te verzinnen. Dat melden meer dan een dozijn software-engineers, ontwikkelaars en academische onderzoekers, schrijft ABC News.
Hallucinaties
De experts zeggen dat een deel van de verzonnen tekst – beter bekend als hallucinaties – racistisch commentaar, gewelddadige retoriek en zelfs ingebeelde medische behandelingen kan bevatten. Volgens de experts zijn dergelijke verzinsels problematisch omdat Whisper in een groot aantal sectoren wereldwijd wordt gebruikt om interviews te vertalen en te transcriberen, tekst te genereren en ondertitels voor video’s te maken.
Zorgwekkender is de haast van medische centra om de op Whisper gebaseerde tools te gebruiken om consulten van patiënten met artsen te transcriberen. Dit ondanks de waarschuwingen van OpenAI dat de tool niet in ‘risicovolle domeinen’ mag worden gebruikt. De volledige omvang van het probleem is moeilijk te achterhalen, maar onderzoekers en ingenieurs zeggen dat ze Whisper’s hallucinaties vaak tegenkwamen in hun werk.
Ernstige gevolgen
De fouten kunnen ‘ernstige gevolgen’ hebben, met name in ziekenhuizen, zegt Alondra Nelson, hoogleraar aan het Institute for Advanced Study in Princeton, New Jersey. “Niemand wil een verkeerde diagnose”, zegt Nelson. Meer dan 30.000 clinici en 40 zorgsystemen in de VS zijn gestart met het gebruik van een op Whisper gebaseerde tool van Nabla. Die tool is verfijnd op medische taal om de interacties van patiënten te transcriberen en samen te vatten. Functionarissen van Nabla zeggen dat ze zich ervan bewust zijn dat Whisper kan hallucineren en dat ze het probleem aanpakken.
Volgens hoogleraar Natural Language Processing (NLP) Suzan Verberne van de Universiteit Leiden zijn hallucinaties een wezenskenmerk van taalmodellen zoals Whisper en ChatGPT. “Hallucinatie is geen fout, maar een kenmerk”, zegt Verberne op de Dutch Healt Hub. “Het model genereert een plausibele reeks waarschijnlijke woordvolgordes. Hoe specifieker het onderwerp, hoe groter de kans op hallucinaties, want informatie over zulke onderwerpen is beperkter beschikbaar,” aldus Verberne.
Deja vu
De problemen met Whisper doet denken aan de blunder van Google’s plaatjesmaker Gemini. Deze generatieve AI-tool toonde dit voorjaar historische figuren met een donkere huidskleur, terwijl dat historisch gezien niet klopte. Google verontschuldigde zich en beloofde beterschap, waarna het de fout heeft opgelost.
