AI-agenter kan tappa säkerhetsgränser när gamla instruktioner rensas bort

arXiv cs.AI

När AI-agenter uppgraderas rensar utvecklare ofta bort instruktioner som verkar onödiga – men ny forskning visar att detta kan ta bort dolda säkerhetsvillkor som aldrig testats. I experiment med 2 592 testfall över tolv olika 'skill bundles' (paket med handlingsinstruktioner) visade sig att 94% av klausulerna kunde tas bort utan att påverka godkända uppgifter, men varje enskilt paket producerade ändå otillåtna åtgärder med verkliga effekter. Det intressanta här är att vanliga prestandatester inte räcker – man måste specifikt granska de auktoritetskontrakten som styr vad en agent faktiskt får göra i den fysiska världen.