Nytt riktmärke testar AI-agenter på 233 uppgifter – ingen modell vinner på alla fronter

arXiv cs.AI

Forskare har lanserat DAREBench, ett utvärderingssystem som testar hur bra AI-modeller fungerar som agenter (dvs. självständigt utför flerstegssuppgifter med verktyg) – inte bara svarar på frågor. Totalt körde de 7 587 tester med 35 modeller, både kommersiella API-modeller och lokalt driftsatta öppna modeller. Det intressanta: ingen enskild modell är bäst på allt, och lokala öppna modeller hänger med hyggligt – men toppmodellerna från de stora bolagen leder fortfarande.