Nya ramverk ska förbättra säkerhet och förhandlingsförmåga hos AI-agenter

Forskningsgemenskapen tar nya grepp för att förbättra AI-agenters förmågor och säkerhet genom två banbrytande ramverk som nyligen presenterats.

Det första ramverket adresserar en kritisk säkerhetsaspekt genom att utveckla den första allmänna formuleringen av osäkerhetskvantifiering specifikt för AI-agenter. Medan tidigare forskning främst fokuserat på enkla fråga-svar-situationer, erkänner forskarna att AI-agenter nu används i betydligt mer komplexa uppgifter som kräver interaktion över flera steg.

Det nya perspektivet modellerar osäkerhet som en reduktionsprocess snarare än som något som ackumuleras över tid, vilket är särskilt anpassat för komplexa flerstegsuppgifter. Detta ramverk syftar till att skapa säkrare skyddsmekanismer för AI-agenter som används i praktiska tillämpningar.

Parallellt har andra forskare utvecklat AgenticPay, ett omfattande testramverk för att utvärdera AI-agenters förhandlingsförmåga. Systemet simulerar marknader där köpare och säljare med privata begränsningar och produktspecifika värderingar måste nå överenskommelser genom flertursförhandlingar på naturligt språk.

AgenticPay innehåller över 110 olika testuppgifter som spänner från bilateral förhandling till komplexa marknadsscenarier. När forskarna testade ledande språkmodeller visade resultaten betydande brister i både förhandlingsförmåga och strategiskt resonemang.

Båda ramverken representerar viktiga steg framåt för att göra AI-agenter mer tillförlitliga och kapabla i verkliga situationer. De adresserar kritiska luckor inom säkerhet respektive ekonomisk interaktion som blir allt viktigare när AI-agenter får större autonomi i komplexa uppgifter.