De snelle opmars van ‘AI-scribes’ in huisartsen- en specialistische praktijken belooft de administratieve last te verlichten en burn-out bij artsen te verminderen. Maar een recent commentaar in npj Digital Medicine waarschuwt voor nog grotendeels onderschatte risico’s voor de kwaliteit van het medisch dossier, de gelijkheid van zorg en de medisch-juridische aansprakelijkheid, en pleit voor een strikter kader vóór een grootschalige uitrol.
AI-scribes zijn tools van artificiële intelligentie die de consultaties in real time registreren en samenvatten. Ze worden alsmaar vaker gebruikt in de klinische praktijkvoering. Naar schatting maakt ongeveer 30% van de artsen gebruik van AI-scribes in de hoop zo de administratieve belasting en het risico op burn-out te verlagen. In een recent hoofdartikel in npj Digital Medicine waarschuwen vorsers echter dat er weinig studies ad hoc zijn uitgevoerd, dat er nog geen kwaliteitsindicatoren zijn opgesteld en dat er nog geen regelgeving voor bestaat.
Ze beschrijven vier grote groepen van fouten:
- Hallucinaties: de IA genereert allerhande onderzoeks- of diagnostische elementen, die nooit zijn bewezen.
- Weglaten van essentiële symptomen of informatie (bijvoorbeeld niet invoeren van pijn in de borstkas).
- Slechte interpretatie van de context (stopzetting van een behandeling wordt gedocumenteerd als een nieuw voorschrift).
- Verwisseling van spreker: wat de patiënt zegt, wordt toegeschreven aan de arts en vice versa.
Het aantal gerapporteerde “hallucinaties” blijkt laag te zijn (1-3%), maar op miljoenen consultaties kan dat toch resulteren in problemen (een later stellen van de diagnose of een verkeerde behandeling).
De performantie moet dezelfde zijn in de verschillende demografische groepen. De systemen van stemherkenning blijken minder precies te zijn bij zwarte patiënten, patiënten met een accent en patiënten die het Engels niet machtig zijn. Het dossier dreigt dan ook onvollediger te zijn, terwijl het sowieso al gaat om kwetsbare groepen. De artsen zouden transparante gegevens moeten eisen die aantonen dat er geen systematische verschillen zijn volgens het ras, de taal of het accent. Regelmatige interne audits zijn wenselijk om systematische biases op te sporen.
De meeste van die systemen worden beschouwd als zijnde administratieve tools en niet als medische hulpmiddelen, zodat ze kunnen ontsnappen aan controles (bv. FDA). Tegen die achtergrond blijven de arts en het ziekenhuis medisch aansprakelijk. Ze moeten elke door AI gegenereerde nota herlezen, fouten traceren en de patiënten duidelijk inlichten dat tijdens de consultatie een AI-scribe wordt gebruikt.
Volgens de auteurs moeten heldere eisen worden opgelegd (nagenoeg geen hallucinaties betreffende kritieke elementen, geen ongelijkheden, transparantie van de algoritmes) voor die tools op grote schaal mogen worden gebruikt.
