Fel AI-modell med fel verktyg kan kosta skjortan – eller prestera sämre

arXiv cs.AI

Vilket ramverk (harness) du kopplar en AI-modell till spelar lika stor roll som modellen själv – och ibland större. I en studie med 66 kombinationer av modeller och ramverk vände sig rankingen helt beroende på uppgift: Claude slår GPT med nästan 8 poäng i ett ramverk men förlorar med 30 poäng i ett annat. Dessutom visade det sig att GPT presterade bättre i ett billigare ramverk (PI) än i ett dyrare, till under en fjärdedel av kostnaden per uppgift.