AI-chatbots nog niet klaar voor gesprekken met patiënten

AI-chatbots die werken met grote taalmodellen zoals ChatGPT zijn nog niet geschikt voor het voeren van coherente gesprekken met patiënten. Dat blijkt uit wetenschappelijk onderzoek, dat is gepubliceerd in Nature Medicine.

Het onderzoek werpt licht op de beperkingen van AI-chatbots, die zijn gebouwd met Large Language Models (LLMs). Hoewel de chatbots indrukwekkende resultaten laten zien in gesimuleerde examenopgevingen, komen ernstige beperkingen aan het licht wanneer ze op een dynamische en onvoorspelbare manier met patiënten communiceren.

Onderzoekers van de Harvard Medical School en Stanford University ontwikkelden een raamwerk genaamd ‘CRAFT-MD’ om grote taalmodellen (LLM’s) te evalueren in realistische interacties met patiënten. Ze ontdekten dat LLM’s, zoals ChatGPT-4, moeite hadden met het voeren van coherente klinische gesprekken, het verzamelen van volledige patiëntgeschiedenissen en het nauwkeurig diagnosticeren van medische aandoeningen.

Beperkingen AI-chatbots
De modellen vertoonden aanzienlijke problemen bij echte medische dialogen. “Bij medische gesprekken is het nodig om de juiste vragen op het juiste moment te stellen, verspreide informatie samen te voegen en symptomen te beredeneren. Dit brengt uitdagingen met zich mee die veel verder gaan dan beantwoorden van meerkeuzevragen,” zegt senior auteur Pranav Rajpurkar, assistent professor biomedische informatie aan de Harvard Medical School.

“Wanneer we overschakelen van gestandaardiseerde tests naar deze natuurlijke gesprekken, vertonen zelfs de meest geavanceerde AI-modellen een significante daling in diagnostische nauwkeurigheid,” zegt Rajpurkar. Hij benadrukt de noodzaak van grondige evaluatie voordat LLM’s worden ingezet in klinische omgevingen. Het onderzoek suggereert dat AI-chatbots, hoewel veelbelovend, verder moeten worden ontwikkeld om effectief om te gaan met de nuances en uitdagingen van echte patiëntinteracties in de gezondheidszorg.

Lees het wetenschappelijk artikel in Nature:
An evaluation framework for clinical use of large language models in patient interaction tasks | Nature Medicine

Bekijk meer artikelen over AI in de zorg

Bronnen:
AI Chatbots schieten tekort in de echte medische wereld – Business AM
AI models struggle in real-world medical conversations
How Good Are AI ‘Clinicians’ at Medical Conversations? | Harvard Medical School

Foto: AI-robot praat met patiënt in een ziekenhuis. Patiënt kijkt verbaasd (beeld gegenereerd met Image Creator in Bing)

Abonneer
Laat het weten als er
guest
0 Commentaren
Inline feedbacks
Bekijk alle reacties