Forskare ifrågasätter hur vi mäter AI:s förmåga över tid

arXiv cs.AI

METR:s populära metod för att mäta AI-förmåga – det kallas 'tidshorisonter' och mäter hur svåra uppgifter en AI klarar jämfört med hur lång tid en människa behöver – har nu granskas statistiskt på 228 uppgifter och 26 AI-modeller. Det visar sig att skalan är ojämn: ett hopp från 3 till 30 minuter är mycket lättare att uppnå för AI:n än ett hopp från 30 minuter till 5 timmar, trots att båda är exakt 10 gånger längre. Det betyder att när nya riktmärken (benchmarks) presenteras med tidshorisonter bör man se dessa siffror med viss försiktighet – de kan dölja mer än de avslöjar.