AI kan fånga upp till 85% av granskares kritik innan artiklar skickas in

arXiv cs.AI

Forskare har testat ett system där stora språkmodeller (LLM:er) granskar vetenskapliga artiklar innan de skickas till peer review – och resultaten är rätt imponerande. Systemet täckte upp till 84,9% av den kritik som riktiga granskare senare lyfte fram, men bara om man använde en stor pool av förslag (256 kandidater) och smarta urvalsmetoder. Det intressanta är att komprimering är problemet: att välja ut de bästa synpunkterna från poolen utan tillgång till facit halverar täckningen till 40–44%.