Ny forskning utmanar grundläggande teori om hur AI-modeller lagrar information
Nick Cammarata presenterar överraskande resultat som ifrågasätter 'polysemanticity' – idén att enskilda neuroner i AI-modeller hanterar flera olika begrepp samtidigt. Om påståendena håller kan det få stora konsekvenser för interpretability (förmågan att förstå vad som händer inuti AI-system) och alignment-forskning. Det är ovanligt stora anspråk, och forskningsvärlden kommer säkert att granska dem noga.
Djupdykning
Nick Cammarata, en av de mer respekterade forskarna inom AI-säkerhet och interpretability, har kommit med påståenden som potentiellt skakar om en av fältets grundläggande antaganden – nämligen polysemanticity. Det handlar om fenomenet där en enskild neuron i ett neuralt nätverk aktiveras av flera helt orelaterade koncept (tänk dig en brandman som också är revisor och pianist på fritiden – samma person, fullständigt olika roller). Teorin har länge varit ett av de stora hindren för att förstå vad som faktiskt händer inuti AI-modeller, eftersom det gör det nästan omöjligt att spåra hur modellen "tänker." Om agenter – AI-system som agerar autonomt över tid för att lösa komplexa uppgifter – faktiskt kan motbevisa detta, innebär det att vi kanske kan bygga modeller vars interna logik är läsbar och kontrollerbar på ett sätt vi aldrig trodde möjligt. Det de flesta missar här är att detta inte bara är en akademisk seger för interpretability-forskningen. Om vi faktiskt kan förstå varför en modell fattar ett beslut, och inte bara vad beslutet blev, förändras hela spelplanen för alignment – det vill säga arbetet med att se till att AI-system gör vad vi faktiskt vill att de ska göra. Och att det är agenter som löser detta, snarare än traditionell mänsklig analys, är den riktigt provocerande biten: AI hjälper oss att förstå AI.