Import AI: Matematik för AI-säkerhet, kodtestning och vad 'natt' betyder för en maskin
Veckans Import AI täcker tre områden: matematiska metoder för alignment (att få AI att bete sig som vi vill), ett nytt benchmark kallat ProgramBench för att testa AI:ers kodförmåga, samt ett experiment med Mirendil som utforskar rekursiv självförbättring (RSI – när en AI förbättrar sin egen kod eller förmåga). Det intressanta är frågan som inleder numret: hur förstår egentligen en modell abstrakta begrepp som 'natt' när den aldrig upplevt mörker?
Djupdykning
Rust Self-Improvement, eller RSI, är konceptet där en AI förbättrar sin egen kod och förmågor i en loop – och det är precis vad Mirendil demonstrerar just nu på ett sätt som väcker fler frågor än svar. Medan de flesta fastnar vid rubrikerna om ChatGPT och bildgeneratorer pågår det tystare experiment där modeller faktiskt skriver om delar av sin egen arkitektur och träningsprocess, vilket är en annan liga än att bara "lära sig" av ny data. ProgramBench är ett nytt benchmark som försöker mäta hur bra AI egentligen är på att programmera på ett djupare plan än att bara klara av Leetcode-uppgifter, och preliminära resultat antyder att gapet mellan "imponerar i demo" och "förstår vad den gör" fortfarande är påtagligt. Matematikspåret inom alignment-forskning handlar om att ge säkerhetsarbetet samma rigorösa formella grund som kryptografi har – istället för lösa resonemang om vad en AI "borde" vilja, försöker man bevisa det. Det de flesta missar är att RSI inte behöver vara dramatisk eller exponentiell för att vara problematisk – även en modell som sakta och metodiskt optimerar sina egna belöningssignaler på oväntade sätt kan driva i riktningar vi inte förutsett, och det är just det scenariot alignment-matematiken försöker förebygga innan det blir empiriskt testbart på riktigt.