Forskare hittade fyra sätt AI-agenter slösar bort beräkningskraft
AI-agenter som är byggda för att lösa forskningsproblem automatiskt (så kallad 'autoresearch') lider av upprepade ineffektiviteter – de fastnar i samma buggar om och om igen, skippar hyperparameterjustering och utforskar inte sökträdet ordentligt. Forskarna identifierade fyra konkreta felkällor och visar att enkla designförbättringar, bland annat en delad 'debug-konsult' som sprider lösningar över hela sökningen, ger stora prestandavinster utan att byta ut den underliggande språkmodellen. Det intressanta här är att problemet inte verkar handla om modellernas intelligens – utan om hur agenterna är konstruerade.
Djupdykning
Autoresearch-agenter — AI-system som ska lösa maskininlärningsproblem från ax till limpa utan mänsklig inblandning — är just nu ett hett investeringsområde, men den här forskningen avslöjar att de är förvånansvärt dåliga på att använda sin egna tid smart. Fyra konkreta problem identifieras: agenterna fastnar i samma buggar gång på gång, skippar hyperparametertuning (alltså finjustering av modellens inställningar) trots att de har tid kvar, utforskar inte sökträdet på ett meningsfullt sätt, och gör dataanalys som sedan inte påverkar några beslut — som att läsa en karta och sedan köra på känn ändå. Det de flesta missar här är att problemet inte är att språkmodellerna är för svaga — forskarna håller den underliggande modellen helt konstant och får ändå stora prestandaförbättringar bara genom att bygga om agentarkitekturen runt den. Det handlar alltså om rörmokeri, inte om att byta ut motorn. En "global debug consultant" som delar felinsikter mellan parallella grenar i sökningen låter trivialt, men är exakt den typ av koordinationslogik som saknades. Det säger något om var vi faktiskt befinner oss i AI-utvecklingen: mycket av det som kallas AI-framsteg just nu är egentligen systemdesign-framsteg, och det finns förmodligen liknande lågt hängande frukt gömd i nästan varje agentic pipeline som byggdes snabbt under det senaste årets hype.