Snabba beslutsmodeller för AI-agenter underpresterar – och forskarnas egna siffror stämde inte
En ny utvärdering av så kallade System-1-modeller – små, snabba modeller som fattar beslut i AI-agenter utan att anlita ett stort språkmodellsanrop – visar att besparingarna är betydligt mindre än utlovat: en rapporterad kostnadsbesparing på 23,9% krympte till 4,3% när räkningarna gjordes rätt. Testet, som omfattade över 13 900 fall från 18 datakällor, fann också att ingen av modellerna klarar nollskotsdirigering (att välja rätt AI-modell för en uppgift) bättre än slumpen. Det som gör studien extra intressant är att forskarna öppet redovisar fyra egna analysfel – en ovanlig ärlighet i ett fält där positiva resultat dominerar.
Djupdykning
AI-agenter är inte en enda stor modell som tänker igenom allt – de är kedjor av snabba, specialiserade beslut: ska vi anropa det här verktyget? Är den här texten relevant? Verkar det här vara ett manipulationsförsök? System-1-modeller (termen lånad från Kahneman – snabbt, intuitivt tänkande utan djup analys) lovar att hantera dessa mikrobeslut blixtsnabbt och billigt jämfört med att skicka varje fråga till en stor språkmodell. Problemet som den här studien avslöjar är att de faktiska prestationsmätningarna ofta är betydligt blåsupplåsta – en rapporterad kostnadsbesparing på 23,9% krymper till 4,3% när man räknar rätt, och en noggrannhet som presenterades som 98% handlade egentligen om ett delmål, inte slutresultatet som låg på 58%. Det mest avslöjande är kanske att ingen av modellerna slår slumpen på att välja rätt AI-modell för en given uppgift, vilket är ett av de mest lovade användningsfallen för hela arkitekturen. Det folk missar i diskussionen om AI-agenter är att det inte är flaggskeppsmodellerna som avgör hur bra systemen faktiskt fungerar i verkligheten – det är de osynliga lagermodellerna däremellan, och de håller tydligen inte vad säljdecken lovar.