De vooruitgang op het gebied van kunstmatige intelligentie (AI) is indrukwekkend en Google loopt voorop met Med-PaLM, zijn nieuwe medische chatbot. Deze AI-software is onlangs geslaagd voor het medisch examen in de Verenigde Staten. Maar zijn resultaten zijn nog steeds lager dan die van mensen, volgens een onderzoek dat woensdag in Nature is gepubliceerd.

PaLM 2 (Pathways Language Model 2) is Google’s eigen AI-taalmodel, met uitgebreide mogelijkheden voor redeneren, taal en codering. Het kan worden verfijnd om meer gespecialiseerde modellen te maken, zoals Med-PaLM 2 voor medische diagnoses. Het is ook de motor achter de chatbot Google Bard.

De resultaten van Med-PaLM op het Amerikaanse medische examen zijn bemoedigend. Om geneeskunde te mogen beoefenen in de Verenigde Staten is een score van ongeveer 60% vereist. In februari behaalde ChatGPT bevredigende resultaten op dit examen. In een nieuw peer-reviewed onderzoek dat woensdag is gepubliceerd in het tijdschrift Nature, kondigden Google-onderzoekers aan dat Med-PaLM een score van 67,6% behaalde bij het beantwoorden van meerkeuzevragen in USMLE-stijl.

Om het model te verbeteren en foutieve antwoorden te voorkomen, heeft Google een nieuwe evaluatiereferentie ontwikkeld. Een recentere versie van het model, Med-PaLM 2, heeft naar verluidt een indrukwekkende USMLE-score van 86,5% behaald, waarmee de vorige versie met bijna 20% werd overtroefd, volgens een onderzoek dat in mei werd gepubliceerd maar nog niet collegiaal is getoetst.

Med-PaLM 2 wordt momenteel getest in de Mayo Clinic en zal voornamelijk worden gebruikt voor geautomatiseerde administratieve taken met weinig uitdaging, zonder directe betrokkenheid bij patiënten en zonder het risico hen te schaden.

De gezondheidszorg is een sector waar AI al tastbare vooruitgang heeft geboekt. Algoritmen zijn in staat om medische scans nauwkeuriger te lezen dan artsen. Google onthulde zijn AI-tool voor medische vragen al in december. In tegenstelling tot ChatGPT, een concurrent gesteund door Microsoft, is Med-PaLM niet opengesteld voor het grote publiek.