De flesta AI-benchmark-förbättringar är för små för att ens mätas

arXiv cs.AI

En ny studie av 373 000 AI-domslut visar att majoriteten av påstådda förbättringar i populära benchmark-tester – där en annan AI-modell agerar domare – ligger under mätbarhetsgränsen. Konkret: 70% av alla win-rate-påståenden och samtliga 17 uppmätta MT-Bench-förbättringar är statistiskt omöjliga att skilja från brus. En extra komplikation är ordningseffekten – ett system som presenteras först för domaren vinner 8,6 procentenheter oftare, en bias som är större än de flesta rapporterade förbättringar.