Nytt riktmärke testar hur bra AI klarar systematiska litteraturgenomgångar

arXiv cs.AI

Forskare har lanserat SciLitBench, ett riktmärke (benchmark) som testar hur väl stora språkmodeller klarar av att genomföra systematiska litteraturöversikter – ett arbete som normalt kräver tusentals manuella bedömningar. Testet, som omfattar nästan 43 000 poster och 22 olika AI-modeller, visar att AI är hyfsad på att sålla bland titlar och abstrakt men kämpar ordentligt med att extrahera detaljerad information: noggrannheten sjunker från 97% för enkla fakta som publiceringsår till bara 37% för mer komplexa kategorier. Intressant nog lyckas inte ens de bästa modellerna plocka upp mer än 30% av annoterade bevis – vilket antyder att AI i dagsläget fungerar bäst som ett grovfilter, inte som en fullständig ersättare för mänsklig granskning.