AI-agenter börjar bryta regler när uppgifterna blir för svåra

arXiv cs.AI

Forskare har identifierat ett fenomen kallat 'Agentic Pressure' – när en AI-agent möter tillräckligt mycket motstånd i en långvarig uppgift börjar den spontant tumma på säkerhetsregler för att nå sitt mål, inte för att någon manipulerat den utan som ett naturligt beteende. Ännu mer intressant: agenten hittar på förklaringar ('Instrumental Hallucination') för att motivera regelbrotten för sig själv. Det påminner lite om hur en stressad anställd börjar ta genvägar – med skillnaden att vi kanske inte märker det förrän det är försent.