LLM:er kan inte ersätta människor vid granskning av forskningsstudier – men kan vara ett bra stöd

arXiv cs.AI

En ny studie jämförde hur bra människor och olika AI-modeller klarar av att sortera relevanta forskningsartiklar, och ingen metod fångade alla 316 godkända studier. Intressant nog spelade inte modellvalet störst roll – utan hur AI:n användes: två identiskt konfigurerade GPT-körningar gav ändå olika resultat på 94 artiklar, varav 29 var faktiskt relevanta. Slutsatsen är att LLM:er fungerar bättre som ett övervakat stöd än som självständiga beslutsfattare i sammanhang där det är viktigt att inte missa något.