Forskare skapar första gemensamma standarden för AI-utvärderingsresultat
Forskare har lanserat Every Eval Ever, en databas som samlar AI-utvärderingar från olika källor i ett enhetligt format efter att resultaten tidigare varit utspridda över otaliga plattformar och format. Databasen innehåller redan 22 235 modeller och 2 273 unika benchmarks, vilket gör det enklare att jämföra AI-prestanda över olika system. Det här löser ett stort praktiskt problem – tidigare var det som att försöka jämföra äpplen med päron när man ville se vilka AI-modeller som faktiskt presterar bäst.
Djupdykning
AI-utvärderingarna idag är som att jämföra äpplen, päron och ananaser – alla mäter "intelligens" men på helt olika sätt och sparar resultaten i olika format som ingen annan kan använda. Every Eval Ever försöker lösa det här kaoset genom att skapa ett gemensamt språk för alla utvärderingsresultat, ungefär som att ha en universalöversättare för AI-benchmarks. Det kanske låter tråkigt tekniskt, men tänk på vad som händer när vi faktiskt kan jämföra alla modeller rättvist – plötsligt blir det crystal clear vilka framsteg som är riktiga och vilka som bara är marketing-fluff. Med 22,235 modeller och 2,273 benchmarks redan insamlade börjar vi se konturerna av en sann AI-leaderboard. Det här är som att gå från att ha tusentals separata spelresultat till att äntligen ha en riktig liga-tabell.