Goodfire vill övervaka AI-agenter inifrån – till lägre kostnad
Startup-bolaget Goodfire har lanserat ett nytt sätt att hålla koll på AI-agenter: istället för att låta en andra AI granska allt en agent gör, tittar deras system direkt in i modellens interna tillstånd under körning och slår larm bara när något verkar skumt. Tanken är att det ska bli betydligt billigare än dagens vanligaste övervakningsmetoder – ungefär som att ha en temperaturmätare i motorn istället för att filma hela bilen utifrån.
Djupdykning
Goodfire tar ett steg bort från den vanliga metoden att övervaka AI-agenter – där du i princip anställer en andra AI för att granska den första, vilket snabbt blir dyrt när agenter arbetar i långa kedjor av beslut. Deras "inside-out"-approach handlar istället om att titta på vad som händer inne i modellens aktiveringar (de interna signaler som styr hur modellen tänker) medan den jobbar, snarare än att analysera allt den producerar efteråt. Det är lite som skillnaden mellan att ha en hjärnscanner på en kirurg kontra att filma operationen och låta någon titta igenom timmar av video i efterhand. Det som de flesta missar i debatten om AI-säkerhet är att övervakningskostnaden faktiskt är ett strukturellt hinder – om varje agent-anrop kräver ett lika dyrt granskningsanrop skalas problemen kvadratiskt, och det bromsar hela ekosystemet av autonom AI. Om Goofires metod håller vad den lovar förflyttas flaskhalsen från ekonomi till tolkning: hur vet vi att de interna signaler de mäter faktiskt korrelerar med "risigt beteende" och inte bara ser ut som det?