Filosofisk granskning ifrågasätter AI:s maktbegär
En ny filosofisk analys utmanar en grundläggande förutsättning bakom oro för existentiella AI-risker - teorin om "instrumentell konvergens" som säger att AI-system naturligt skulle sträva efter makt. Forskaren argumenterar att bevisen för denna teori inte är starka nog för att motivera dagens alarmerande prognoser om att AI skulle kunna ta makten från mänskligheten. Detta väcker frågor om hur vi bör förhålla oss till långsiktig AI-säkerhet och reglering.
Djupdykning
Begreppet "instrumental convergence" påstår att AI-system med vitt skilda mål ändå skulle konvergera mot samma strategier - som att samla makt - eftersom makt är användbar för nästan alla ändamål. Det låter logiskt, men den här akademiska analysen visar att beviset faktiskt är märkligt tunt när man gräver djupare i detaljerna. Problemet är att argumentet förutsätter en specifik typ av rationalitet och målstruktur hos AI-system som vi inte ens vet kommer att existera. Vi projicerar mänskliga incitament på system som kanske fungerar helt annorlunda - lite som att anta att utomjordingar måste ha samma politiska system som vi för att de också vill överleva. Det här undergräver en hel del av den nuvarande AI-säkerhetsdiskursen som bygger på antagandet att superintelligens automatiskt leder till maktkoncentration. Istället för att fokusera på hypotetiska framtidsscenarier kanske vi borde lägga mer energi på att förstå hur dagens AI-system faktiskt fungerar och utvecklas.