Nya tester avslöjar allvarliga logikbrister hos AI-modeller inom medicinsk forskning

arXiv cs.AI

Ett nytt riktmärke (benchmark) kallat LogiMed-RoB testar om stora språkmodeller verkligen kan följa medicinsk expertlogik – och resultaten är nedslående: trots att den bästa modellen klarar 98,88% på enkla delfrågor, rasar den sammantagna logiska konsistensen till 45,13%, medan vissa modeller hamnar nära 0%. Det verkligt intressanta är att hög ytlig träffsäkerhet kan dölja att modellen i grunden gissar – i upp till 48% av fallen – vilket gör dem opålitliga för klinisk användning utan mänsklig granskning.