Matematiskt bevis: AI-system kan inte säkert godkänna sina egna förbättringar

arXiv cs.AI

Forskare har formellt bevisat att inget terminerande automatiserat system kan garantera att det korrekt bedömer om en AI-uppdatering faktiskt är en förbättring – ett 'grindvakt'-system måste antingen riskera att godkänna försämringar eller missa äkta förbättringar. Det finns ett undantag: om man begränsar utvärderingen till ett ändligt antal steg och förslag kan man bygga ett system med rimliga garantier, men även då kan en kedja av godkända uppdateringar förbättra det begränsade måttet medan den verkliga prestandan sjunker. Resultatet sätter ett teoretiskt tak för hur mycket vi kan lita på att AI-agenter självständigt förbättrar sig – relevant när allt fler system börjar skriva och modifiera sin egen kod.