Forskare mäter hur mycket AI-modeller kan resonera i det dolda
Ny forskning visar att stora språkmodeller som Gemma 3 har begränsad förmåga att utföra komplex reasoning utan att visa sina tankeprocesser externt. Forskarna introducerar begreppet "opaque serial depth" (ogenomskinligt seriellt djup) för att mäta hur mycket beräkning modeller kan göra utan tolkningsbara mellansteg, och öppnar källkoden för ett verktyg som kan beräkna dessa gränser för alla neurala nätverk.
Djupdykning
Den här forskningen introducerar ett fascinerande koncept för att förstå när AI-modeller *måste* visa sitt arbete versus när de kan "fuska" och hoppa till slutsatser. "Opaque serial depth" mäter hur långa beräkningskedjor en modell kan genomföra helt internt utan att behöva externalisera sina tankeprocesser genom chain of thought. Forskarna visar att Transformer-arkitekturen har naturliga begränsningar som tvingar komplexa resonemang att passera genom synliga steg, vilket är viktigt för övervakning och säkerhet. Resultaten antyder att vissa AI-arkitekturer (som Mixture-of-Experts) kan ha lägre "opak djup" än traditionella täta modeller, vilket betyder att de är mer benägna att visa sina tankeprocesser externt. Detta har enorma implikationer för AI-säkerhet och tolkningsbarhet – om vi kan förutsäga när modeller måste "tänka högt" kan vi bättre övervaka deras beteende och identifiera potentiellt farliga dolda resonemang. Nyckelinsikt: Genom att kvantifiera när AI måste visa sitt arbete kan vi bygga säkrare system som inte kan dölja komplexa eller potentiellt skadliga tankeprocesser från oss människor.