Hur mycket kan en AI-agent förbättra sig själv utan mänsklig kontroll?

arXiv cs.AI

Forskare har undersökt när AI-agenter kan tillåtas uppdatera sig själva automatiskt – utan att en människa granskar varje ändring. De föreslår två mätbara villkor: hur pålitlig den automatiska granskaren (ofta en annan AI) är, och hur lätt det är att ångra en dålig ändring. I sina tester visade sig AI-granskaren vara blind i 9 av 37 testfall – den gav samma betyg oavsett vad den fick se – och under driftsättning påverkades 17 procent av uppgifterna på ett sätt som inte gick att återställa.