Smarter stoppvillkor för AI-agenter sparar 38% av tokens

arXiv cs.AI

Forskare har testat ett sätt att låta AI-agentsystem (där en modell skriver och en annan kritiserar) själva avgöra när de ska sluta loopa, istället för att blint följa ett fast iterationstak. Metoden jämför textens meningsbärande innehåll (via cosine distance) mellan varje utkast och stannar när ingenting längre förändras – och på ett test med 60 frågor minskade det tokenförbrukningen med 38% utan att kvaliteten sjönk nämnvärt. Det intressanta tillägget: ett orakel som retrospektivt väljer det bästa svaret presterar dramatiskt bättre än alla praktiska strategier, vilket antyder att 'vilket svar är bäst?' är ett viktigare problem att lösa än 'när ska vi sluta?'