Stora språkmodeller missar att tillämpa uppdaterade medicinska riktlinjer – trots att de känner till dem

arXiv cs.AI

Forskare har testat 14 stora språkmodeller (AI-system som GPT och liknande) på 1 709 förändringar i medicinska riktlinjer och hittat ett slående mönster: modellerna känner till de nya rekommendationerna i 90,8% av fallen, men tillämpar dem korrekt i bara 58,5% – ett gap på över 30 procentenheter. Det är lite som att en läkare vet att riktlinjerna har ändrats men ändå skriver ut det gamla behandlingsalternativet. Särskilt problematiskt var förändringar i rekommendationsstyrka och vilka patienter som är aktuella för behandling.