AI-modeller misslyckas med att bedöma vetenskaplig originalitet på ett tillförlitligt sätt

arXiv cs.AI

Ett nytt riktmärke kallat NovGauge testar hur bra stora språkmodeller är på att avgöra om forskning är genuint ny – och resultaten är nedslående. Av 18 testade modeller hade den bästa, GPT-4.5, ett verifierat F1-poäng på 43–72% beroende på dimension, och hos de flesta modeller rasade prestandan till under hälften när man krävde att modellen faktiskt kunde motivera sitt svar med korrekt underlag. Särskilt oroande: över 70% av de till synes korrekta bedömningarna stöddes av bevis som logiskt sett inte höll ihop – vilket är ett problem när AI används allt mer i granskningsprocesser vid stora AI-konferenser.