Forskare utvecklar nya metoder för att förbättra AI-agenters säkerhet och förhandlingsförmåga
Forskare arbetar intensivt med att förbättra AI-agenters förmågor och säkerhet genom flera nya metoder. En grupp forskare har utvecklat det första generella ramverket för att mäta osäkerhet hos stora språkmodeller (LLM) när de arbetar som agenter i komplexa, interaktiva uppgifter.
Det nya ramverket behandlar osäkerhet som en reduktionsprocess snarare än en ackumulering, vilket bättre passar agenter som interagerar med omvärlden. Forskarna menar att tidigare forskning om osäkerhetskvantifiering har fokuserat för mycket på enkla fråga-svar-scenarier och att området måste anpassas till mer realistiska miljöer med interaktiva agenter.
Parallellt har andra forskare lanserat AgenticPay, ett system för att utvärdera AI-agenters förhandlingsförmåga. Ramverket innehåller över 110 olika uppgifter som sträcker sig från bilaterala förhandlingar till komplexa marknader med flera köpare och säljare. Systemet modellerar marknader där köpare och säljare har privata begränsningar och produktberoende värderingar, och måste nå överenskommelser genom flervändig språklig förhandling.
Tester av ledande språkmodeller med AgenticPay visar betydande brister i förhandlingskapacitet och strategiskt tänkande, vilket understryker behovet av fortsatt utveckling inom detta område.
En tredje forskningsgrupp har utvecklat OD-CRL, ett ramverk som använder ortogonal basoptimering och brusreducering för att förbättra villkorlig representationsinlärning. Metoden konstruerar ortogonala semantiska baser via singulärvärdesnedbrytning och har uppnått nya toppresultat inom klusteranalys, klassificering och informationssökning. Tillsammans representerar dessa framsteg viktiga steg mot säkrare och mer kapabla AI-agenter.