AI-agenternas inbyggda guider kan faktiskt göra dem sämre
Forskare har undersökt vad som händer när LLM-agenter (AI som utför uppgifter autonomt) utrustas med färdiga 'skills' – återanvändbara instruktionspaket som ska vägleda agenten. Av 307 analyserade fall ledde skills till misslyckanden eller onödigt dyr körning i majoriteten, bland annat för att agenterna tog in för mycket verifiering och tunga arbetsflöden som obligatoriska steg. Det intressanta: det var sällan uppenbart irrelevanta skills som ställde till det – utan sådana som verkade rimliga men ändå fick agenten att göra fel.
Djupdykning
Konceptet "agent skills" handlar om att ge AI-agenter återanvändbara instruktionspaket – ungefär som att ge en ny anställd en handbok för hur de ska lösa vanliga problem. Tanken är god, men den här studien visar att det ofta går snett på ett subtilt sätt: det är inte de uppenbart irrelevanta instruktionerna som ställer till det, utan de till synes relevanta. En skill som matchar uppgiften på ytan kan ändå få agenten att implementera fel saker, hoppa över kritiska steg, eller köra igenom en tung verifieringschecklista varje gång – även när det inte behövs. Det de flesta missar är att problemet inte primärt handlar om att agenter är dumma, utan att instruktioner som fungerar bra i ett sammanhang kan bli tvångströjor i ett annat. Forskarna hittade 182 fall där agenter tekniskt löste uppgiften men slösade massa tokens och tid på grund av inbyggda procedurer som förvandlats till obligatoriska ritualer. Det är lite som när en erfaren utvecklare följer en onboarding-guide till punkt och pricka trots att de redan kan hälften av stegen – fast AI:n ifrågasätter aldrig om guiden faktiskt gäller den här situationen. Det här är ett bra argument för att "mer kontext till agenten" inte automatiskt är bättre, och att framtida system behöver mekanismer för att bedöma när en skill faktiskt är tillämpbar snarare än att bara ladda in allt som verkar relevant.