Nya tester visar att AI-agenter tappar fotfästet när verktygen förändras

arXiv cs.AI

Forskare har testat hur väl tolv ledande AI-modeller hanterar förändringar i MCP-servrar (den infrastruktur som kopplar ihop AI med externa verktyg) – och resultaten är rätt dystra. Även toppmodeller som GPT-4.5 och Claude Sonnet 4 tappade 13–14 procent i prestanda när verktygsgränssnitten uppdaterades, med märkbart fler fel i planering och resonemang. Det påminner om att dagens AI-agenter är mer bräckliga än de ser ut: de klarar uppgifter bra i stabila miljöer, men vacklar så fort något i omgivningen ändras.