Anthropic varnar: vi är nära AI som kan förbättra sig själv
Anthropic meddelar att de närmar sig RSI – recursive self-improvement – det vill säga punkten där en AI blir tillräckligt duktig på att träna sig själv för att utlösa en snabb och okontrollerad kapacitetstillväxt. Det är en milstolpe som många AI-säkerhetsforskare länge pekat ut som en av de mest kritiska riskerna i hela fältet. Intressant nog är det Anthropic själva som höjer larmet – samma bolag som bygger tekniken.
Djupdykning
Anthropic – företaget bakom AI-assistenten Claude – har varnat för att de närmar sig något som kallas RSI, eller Recursive Self-Improvement. Enkelt förklarat: det är när en AI blir tillräckligt bra på att förbättra sin egen träning att den i praktiken börjar bygga nästa, smartare version av sig själv, utan att människor behöver vara lika mycket inblandade. Det som gör det här annorlunda från vanlig AI-utveckling är feedbackloopen – varje förbättring gör systemet bättre på att göra nästa förbättring, vilket teoretiskt sett kan leda till en kapacitetsökning som accelererar exponentiellt snarare än linjärt. Det de flesta missar i den här diskussionen är att Anthropic inte är vilket företag som helst som larmar om AI-risker – de är ett av de mest inflytelserika AI-labben i världen, grundat av folk som lämnade OpenAI just för att de oroade sig för säkerheten. När de säger att de är "väldigt nära" RSI är det inte marknadsföring eller domedagsprofetia för mediauppmärksamhetens skull, det är ett erkännande om sin egen produkt. Det innebär att branschen nu befinner sig i ett läge där de som bygger tekniken högt och tydligt säger att de kanske håller på att förlora kontrollen över takten i sin egen utveckling – och ändå fortsätter bygga.