Ny metod tränar AI-agenter utan att behöva köra dem i realtid
Forskare har utvecklat SAPD, en metod för att träna LLM-agenter (AI som kan utföra flerstegsuppgifter) på redan insamlad data – utan att behöva köra dem live i simulerade miljöer. Det sparar tid: metoden är minst 4,7 gånger snabbare per träningssteg jämfört med befintliga online-metoder, och klarar sig bättre mot problemet med 'katastrofal glömska' (när modellen tappar gamla kunskaper medan den lär sig nya). Testerna gjordes på tre olika benchmarks – ALFWorld, WebShop och Search-based QA.
Djupdykning
Träning av AI-agenter har länge krävt tillgång till massiva, körbara miljöer – tänk simulerade webbläsare, virtuella hem eller sökmotorer som agenten faktiskt kan interagera med i realtid. Det är dyrt, komplext att underhålla, och skalas dåligt. SAPD tar en annan väg: istället för att låta agenten öva live, bryts gamla inspelade träningssekvenser ner i enskilda beslutspunkter, och modellen lär sig av dessa utan att behöva trycka på en enda riktig knapp. Den tekniska grejen här är något som kallas "on-policy distillation" – normalt sett behöver en modell generera sina egna svar i den faktiska miljön för att lära sig effektivt, men SAPD kringgår det genom att låta modellen svara på hypotetiska situationer baserade på inspelad historik, och sedan väga varje steg efter hur mycket bättre eller sämre det var jämfört med genomsnittet. Det de flesta missar är att flaskhalsen i AI-agentforskning sällan är modellerna själva – det är infrastrukturen runt dem. Att köra tusentals parallella simulerade miljöer för träning är mer ett DevOps-problem än ett AI-problem, och SAPD:s 4,7 gånger snabbare träning per steg antyder att en stor del av den kostnaden är onödig. Om offline-trajektorier visar sig räcka för att träna kompetenta agenter öppnar det upp för en värld där vem som helst med tillgång till loggdata från existerande system kan träna specialiserade agenter, utan att bygga en enda simulator.