AI:s 'vanföreställningsspiraler' (och vad man ska göra åt dem)
Forskare vid Stanford HAI har identifierat ett fenomen där AI-system fastnar i 'vanföreställningsspiraler' - när modeller förstärker sina egna felaktiga antaganden genom upprepning. Problemet uppstår när AI-system tränar på data som de själva eller andra AI-system har genererat, vilket kan leda till att felaktigheter förstärks exponentiellt över tid.
Djupdykning
AI-modeller kan fastna i något som forskare kallar "vanföreställningsspiraler" - när de skapar påhittade fakta och sedan bygger vidare på dem som om de vore sanna. Det här händer eftersom modellerna är tränade att producera sammanhängande text, inte att verifiera sanningshalten i vad de säger. När en modell väl har "bestämt sig" för en falsk detalj blir den benägen att försvara och utvidga den lögnen för att behålla intern konsistens. Problemet blir särskilt allvarligt när AI-system börjar träna på data som delvis genererats av andra AI-system - en slags digital inavel som kan förstärka fel exponentiellt. Samtidigt som teknikföretag rusar mot mer avancerade modeller ignorerar de ofta det grundläggande faktum att större inte nödvändigtvis betyder mer pålitlig. Vi kanske behöver acceptera att AI:s främsta superkraft - att låta övertygande även när den har fel - också är dess farligaste svaghet.