Studie: AI-agenter klarar inte av att hålla koll på återkallade behörigheter

arXiv cs.AI

När AI-agenter (system som självständigt utför uppgifter via externa tjänster) får och förlorar behörigheter dynamiskt, visar en ny studie att de flesta öppna språkmodeller misslyckas fatalt med att hantera historiken – en fast 256-tokens sammanfattning löste bara 0–2 av 16 testfall. Det som faktiskt fungerade var att ge modellen tillgång till en autentiserad logg över nuvarande förfrågningar, vilket löste 15–16 av 16 fall. Problemet är inte trivialt: forskarna bevisar matematiskt att exponentiellt många olika framtidsscenarion kan se identiska ut om man bara tittar på nuvarande behörigheter, vilket gör korrekt spårning genuint svårt.