Nytt verktyg avslöjar vad aggregerade AI-poäng döljer

arXiv cs.AI

Forskare har tagit fram TIDE, ett system som bryter ner ett språkmodells totala benchmarkpoäng i detaljerade styrkor och svagheter – i stället för en enda siffra får man ett träd av förmågor. Resultaten är träffsäkra: Claude Opus klarar mikroekonomisk marknadsanalys till 100% medan GPT når 83,3%, men rollerna vänds inom kontraktsrätt där GPT leder med 88,9% mot Claudes 77,8%. Det som är intressant är inte verktyget i sig, utan att det synliggör hur vilseledande ett aggregerat poängvärde faktiskt kan vara när man jämför modeller.