Studie ifrågasätter tillförlitligheten hos AI-granskning av forskningsartiklar

arXiv cs.AI

Forskare har analyserat cirka 14 000 AI-genererade granskningar av 200 artiklar från konferensen ICLR 2025 och 2026, och fynden är lite oroande: samma AI ger olika poäng varje gång den granskar identiska texter. Mer detaljerade bedömningsskalor minskar visserligen variationen, men förskjuter samtidigt genomsnittspoängen systematiskt – och hur mycket en reviderad artikel 'förbättras' beror starkt på vilken AI-modell som bedömer den. Med andra ord är det svårt att lita på ett enskilt AI-betyg som objektiv måttstock på vetenskaplig kvalitet.