Nytt AI-system automatiserar konstruktion av medicinska testbenchmarks

arXiv cs.AI

Forskare har byggt MedBenchAgent, ett ramverk med flera AI-agenter som automatiserar hur man skapar testbenchmarks (standardiserade utvärderingssviter) för medicinska bildanalyspmodeller. Systemet når ett Task-Space F1-värde på 90,9% – klart bättre än tidigare metoder på 79–85% – och 994 av 1 000 granskade testfrågor godkändes av mänskliga experter. Det intressanta är egentligen att systemet inte bara genererar frågor, utan även räknar ut vad som överhuvudtaget ska utvärderas – ett steg som hittills krävt manuellt arbete.