Nytt testramverk avslöjar brister hos AI-assistenter i sjukvårdsjournaler

arXiv cs.AI

Forskare har byggt BRIE, ett automatiskt genererat testramverk för att utvärdera hur väl språkmodeller hanterar patientjournaler – validerat av 19 kliniker. När nio olika LLM-modeller testades visade sig även de bästa systemen ofta missa viktig klinisk information, särskilt när svaren kräver att modellen sammanväger uppgifter från flera dokument. Det intressanta är att befintliga tester snabbt blir inaktuella och dyra att uppdatera, medan BRIE kan förnyas löpande för att förhindra att modeller 'läcker' svar från träningsdata.