Självförbättrande AI-agenter är mer bräckliga än vi trott

Forskare har länge jubel-rapporterat om AI-agenter som förbättrar sig själva genom att bygga upp ett "minne" av tidigare uppgifter – typ, agenten löser problem, skriver ner vad som funkade, och använder det nästa gång. Det låter elegant, men den här studien visar att metoderna är skrämmande känsliga för saker som aldrig borde spela roll. Kör du samma experiment två gånger får du olika resultat, och ändrar du bara ordningen på träningsuppgifterna kan hela förbättringseffekten försvinna – för att de tidigare studierna omedvetet designat en "dold läroplan" där lättare uppgifter kom först och lade grunden för svårare. Det de flesta missar här är inte att AI är opålitlig i sig, utan att publicerade resultat troligtvis är cherrypickade inte av illvilja, utan av okunskap. När man bara kör ett experiment med en specifik uppgiftsordning och inte testar variansen, mäter man egentligen hur bra just den kombinationen funkade – inte hur bra metoden fungerar. Det är som att utvärdera en investeringsstrategi baserat på ett enda år med idealiska marknadsförhållanden. Att lägga till mer detaljerad information i agentens minne hjälpte delvis, men inte tillräckligt, vilket antyder att vi ännu inte förstår vilka faktorer som faktiskt driver förbättringen. Fältet för självförbättrande agenter håller på att göra precis samma misstag som tidig deep learning-forskning gjorde med benchmark-överanpassning, och det kan ta år innan det korrigeras om inte utvärderingsstandarderna skärps nu.