Gamla AI-tester kan fortfarande avslöja modellskillnader – om man läser svaren, inte bara poängen

arXiv cs.AI

När flera AI-modeller når nästan perfekta poäng på samma test slutar testet att vara användbart – men forskare visar att själva svarsutskrifterna (hur modellen löste uppgiften, steg för steg) fortfarande innehåller värdefull information. Genom att jämföra modellers svar parvis mot varandra minskade felprediktionen med 5,3 gånger jämfört med att bara titta på slutpoängen. Knepet är alltså inte att byta ut mättade benchmark-test direkt, utan att utvinna mer ur det material som redan finns – även om metoden hade problem med att uppskatta de första resonerande modellerna från tidigt 2025.