Medicinska AI-utvärderingar missar farliga faktafel
Forskare har hittat ett allvarligt problem med hur AI-modeller testas inom sjukvården: de bedömningsmallar (rubriker) som används för att utvärdera svar missar ofta kliniskt relevanta hallucinationer – det vill säga påhittade fakta – och lämnar poängen oförändrad trots tydliga fel. Testerna genomfördes på tre etablerade medicinska benchmarks, HealthBench, HealthBench Professional och LiveMedBench, och visar att rubrikerna fungerar bäst när de explicit kontrollerar specifika fakta, men är blinda för oväntade fel. Det är i grunden ett mätproblem: ett bra testresultat garanterar alltså inte att en modell är säker att använda i klinisk miljö.
Djupdykning
Rubrik-baserad utvärdering av medicinska AI-modeller fungerar ungefär som ett prov med facit – du kan bara fånga fel som du redan visste om. Det här är ett fundamentalt problem som den här studien blottlägger: när forskare skapade en systematisk taxonomi av medicinska hallucinationstyper och injicerade dem i AI-svar, missade de etablerade utvärderingssystemen felen ofta helt – poängen förändrades knappt. Det som de flesta missar i AI-debatten är att "hallucination" inte bara betyder att modellen hittar på saker, utan att den kan leverera ett svar som ser kliniskt korrekt ut, passerar alla checklistor, men innehåller ett subtilt faktafel som ingen tänkte testa för. Studien visar att faktakontroll baserad på informationshämtning (retrieval-based factuality check) fångar upp en del av dessa blinda fläckar, vilket antyder att framtidens utvärdering behöver kombinera rubrikpoäng med mer dynamiska verifieringsmetoder snarare än att luta sig mot ett enda mått. Den verkliga frågan är inte om AI kan klara medicinska prov – den är om våra testmetoder ens är mogna nog att avgöra om AI är säkert att använda.