AI-säkerhetsforskare med domedagsperspektiv går in i OpenAI:s styrelse

Paul Christiano är inte vem som helst – han är en av de mest respekterade rösterna inom AI-alignment, det vill säga forskningen om hur man får AI-system att faktiskt göra det vi vill att de ska göra, snarare än att optimera för fel saker på katastrofala sätt. Han grundade Alignment Research Center och har länge varnat för att vi rör oss för snabbt mot kraftfulla AI-system utan att förstå dem tillräckligt. Att OpenAI nu plockar in honom i styrelsen för sin icke-vinstdrivande stiftelse är anmärkningsvärt, särskilt givet att bolaget de senaste åren har anklagats för att ha prioriterat produktlansering framför just den typ av försiktighetsperspektiv Christiano representerar. Det de flesta missar här är att detta inte är en symbolisk gest – styrelsen för OpenAI Foundation har faktiskt formellt ansvar för att organisationens ursprungliga uppdrag, att utveckla AI till mänsklighetens bästa, efterlevs. Christiano sitter alltså inte i ett rådgivande organ utan i det organ som ska hålla hela konstruktionen ansvarig. Om det är ett genuint försök att balansera risktagande med tillsyn, eller om det är ett PR-drag för att dämpa kritik från säkerhetscommunityn, återstår att se – men Christiano har rykte om sig att inte vara den som håller tyst när han ser problem.