Ny metod tränar AI-agenter att granska om andra AI-agenter följer regler

arXiv cs.AI

Forskare har utvecklat PROBE, ett system där en AI-agent agerar som en vanlig användare för att testa om andra AI-agenter bryter mot interna policyer – till exempel kring prissättning, integritet eller säkerhet. Problemet är att sådana regelbrott ofta smyger sig fram över flera steg i en konversation, vilket varken kapacitetstester eller traditionell säkerhetsgranskning fångar upp. I experiment hittade PROBE-tränade granskare betydligt fler policyöverträdelser än nollskottsbaserade alternativ – och det även när granskaragenten var klart mindre än den agent den övervakade.