Partisk AI-domare kan tysta ned självläkande agentsystem utan att det syns
Forskning visar att självutvecklande AI-agenter – som bygger upp ett bibliotek av färdigheter och rensar bort de sämre – har en kritisk svaghet: om den AI-domare som bedömer resultaten är partisk och låter misslyckanden passera som framgångar, stängs rensningsmekanismen av helt. Det läskiga är att felet är 'tyst' – inga aggregerade mätetal slår larm, och systemet ser ut att fungera normalt. Forskarna föreslår ett enkelt revisionstest där man injicerar konstgjorda fel för att avgöra om domaren är tillräckligt pålitlig innan systemet driftsätts.
Djupdykning
Självutvecklande AI-agenter bygger bibliotek av "skills" – återanvändbara lösningsstrategier – och tanken är att dåliga skills automatiskt pensioneras när de misslyckas tillräckligt många gånger. Det låter elegant, men den här forskningen pekar på ett strukturellt problem: pensionssystemet förutsätter en opartisk domare, och när du ber en språkmodell bedöma uppgifter utan facit (som att skriva rapporter) får du en domare med systematiska blinda fläckar. Det kritiska fyndet är inte att bedömningen blir lite sämre – det är att en viss typ av bias, när modellen felaktigt godkänner misslyckanden, stänger av hela pensionsmekanismen helt och hållet, och det sker under en skarp tröskel som mer träningsdata inte kan rädda dig förbi. Det läskiga är att ingenting i de aggregerade måtten avslöjar att systemet är trasigt; agenten fortsätter prestera okej på ytan medan den stilla fyller sitt bibliotek med skräp. Det de flesta missar är distinktionen mellan "systemet fungerar sämre" och "systemet har slutat fungera på ett sätt vi inte kan mäta" – det är skillnaden mellan ett däck som läcker och ett däck som ser helt ut men inte håller vid nästa kurvtagning. Forskarna föreslår ett enkelt pre-deployment-test där du injicerar kända defekter och kollar om domaren fångar dem, vilket i praktiken är samma logik som att testa ett brandlarm med rök innan du stänger byggnaden.