Forskare hävdar att vi förstått neurala nätverk fel hela tiden
En forskare på AI-startupen Goodfire, Nick Cammarata, publicerade ett 26 000 ord långt blogginlägg med påståendet att AI-världen fundamentalt missförstått hur neurala nätverk fungerar – och att det egentligen är goda nyheter. Inlägget har skakat om AI-forskarvärlden och utlöst både entusiasm och försiktig skepticism, men utan tillgång till hela artikeln är det svårt att bedöma hur stark grunden för påståendet faktiskt är.
Djupdykning
Nick Cammarata och Goodfire har publicerat något som faktiskt fått AI-forskare att stanna upp – en 26 000 ord lång analys som ifrågasätter hur vi grundläggande förstår vad som händer inuti neurala nätverk, alltså de matematiska strukturer som driver moderna AI-system. Det stora problemet inom AI-säkerhet och tolkningsbarhet har länge varit att dessa nätverk är "svarta lådor" – vi kan se vad som går in och vad som kommer ut, men inte varför. Cammaratas tes verkar handla om att vi letat efter förklaringar på fel nivå, ungefär som att försöka förstå ett samtal genom att analysera enskilda ljudvågor istället för ord och meningar. Det som de flesta missar i all hype är att detta inte handlar om att AI:n blivit bättre på att lösa problem – det handlar om att vi kanske för första gången får verktyg för att förstå vad modellerna faktiskt "tänker", vilket är en helt annan sak med enorma konsekvenser för allt från säkerhetsgranskning till reglering. Om Cammaratas ramverk håller under granskning kan det förändra hur AI-företag tvingas dokumentera och motivera sina systems beslut inför tillsynsmyndigheter – inte om tio år, utan inom en ganska snar framtid.