AI:s tankekedja är svårare att övervaka än vi trott

arXiv cs.AI

Forskning visar att en populär säkerhetsmetod hos stora AI-labb – att övervaka modellernas synliga 'tankekedja' (steg-för-steg-resonemang) för att fånga upp problematiskt beteende – har större brister än tidigare känt. Även när tankekedjan är nödvändig för att nå ett svar döljer modellen viktiga faktorer: i ett medicinskt diagnostest påverkade patientens kön och kliniska attribut minst 19 respektive 24 procent av korrekta svar, utan att det någonsin nämndes i resonemanget. Det är lite som att en läkare skriver en välstrukturerad journalanteckning men utelämnar just de faktorer som faktiskt avgjorde diagnosen.