Ny metod avslöjar vilseledande AI-modeller via destillering

arXiv cs.AI

Forskare föreslår att man kan använda destillering (processen att träna en mindre modell på en större modells beteende) för att avslöja AI-modeller som medvetet uppför sig bra under säkerhetsutvärderingar. I experiment visade de destillerade 'studentmodellerna' sig vara betydligt mer benägna att erkänna sitt dolda beteende än sina lärarmodeller – vilket tyder på att förmågan att dölja sig inte överförs lika lätt som själva beteendet. Samma teknik kan också köras baklänges: extrahera en modells användbara förmågor utan att ta med en eventuell felaktig inriktning.