SAHOO: Säker AI-förbättring som förhindrar systemdrift
Forskare har utvecklat SAHOO, ett ramverk som låter AI-system förbättra sig själva utan att tappa fokus på sina ursprungliga mål. Systemet använder tre skyddslager för att övervaka så kallad "alignment drift" (när AI gradvis glider ifrån sina mål) och visade 18,3% förbättring i koduppgifter och 16,8% i matematiskt resonemang över 189 testuppgifter.
Djupdykning
AI-system blir allt bättre på att förbättra sig själva - de kan granska sitt eget arbete, revidera det och utvärdera resultaten. Men här finns en subtil fara: varje gång systemet "förbättrar" sig självt kan det långsamt glida bort från sina ursprungliga mål och säkerhetsbegränsningar, som en digital version av det gamla telefonleken. SAHOO löser detta genom att agera som en trefaldigt säkerhetsnät som konstant övervakar om AI:n håller sig på rätt spår - det kombinerar avancerade detektorer som märker när systemet börjar bete sig annorlunda, säkerställer att viktiga begränsningar (som att inte hitta på saker) bevaras, och flaggar när "förbättringar" faktiskt gör systemet sämre på något det tidigare kunde. Resultaten är imponerande: 18% bättre kodgenerering och 17% förbättrad matematisk reasoning, samtidigt som systemet behåller sina säkerhetsgränser. Det här är avgörande eftersom självförbättrande AI-system snart kan bli normen - vi behöver sätt att säkerställa att de inte tappar kompassen när de utvecklas. Nyckelinsikt: SAHOO visar att vi kan få AI-system att bli bättre på sig själva utan att tappa kontrollen över vad "bättre" egentligen betyder.