Ny metod minskar mätfel i AI-benchmarktester med 87 procent

arXiv cs.AI

Forskare har tagit fram ett smartare sätt att utvärdera AI-modeller på benchmarks (standardiserade testsviter) – genom att fokusera på att täcka in alla uppgifter snarare än att sampla slumpmässigt. I ett praktiskt test med 16 modeller och 880 uppgifter från LiveCodeBench minskade felmarginalerna (MSE) med 87 procent, och konfidensintervallen blev smalare för 15 av 16 modeller. Det intressanta är egentligen hur lite som krävs för att nuvarande benchmarktester ska ge missvisande resultat – och att lösningen är förvånansvärt enkel.