Nya 'kontrakt med bevis' ska göra AI-agenter omöjliga att manipulera
Forskare föreslår ett ramverk kallat Proof-Carrying Contracts (PC2) där AI-agenter måste bifoga ett maskinverifierbart bevis – ungefär som ett matematiskt kvitto – på att de följer avtalade regler innan de får utföra en operation. Systemet, som de kallar 'Airlock', kontrollerar beviset och blockerar åtkomst om det inte håller, även om agenten är aktivt fientlig. Det intressanta är att man kringgår det klassiska problemet med att lita på en annan parts AI: du behöver inte granska agenten alls, bara kontrollera beviset.
Djupdykning
Tänk dig att du anlitar en konsult och istället för att lita på att de följer ert avtal, måste de matematiskt bevisa för dig varje gång de är på väg att göra något att det faktiskt håller sig inom ramarna. Det är exakt vad Proof-Carrying Contracts försöker lösa. Grundproblemet med AI-agenter idag är att du kan ge dem hur detaljerade instruktioner som helst, men text är bara text – agenten kan tolka fel, manipuleras av vad den läser (så kallad prompt injection, när skadlig text luras in för att styra om agenten) eller helt enkelt prioritera fel sak. PC2:s lösning är att flytta ansvaret från instruktioner till formella bevis: agenten måste leverera ett maskinläsbart argument som verifieras av ett system kallat Airlock innan den ens får köra en operation. Det de flesta missar i den här diskussionen om AI-agenter är att förtroendeproblemet inte primärt handlar om att agenter är illvilliga – det handlar om att ekonomiska transaktioner kräver att du kan lita på motparten utan att behöva granska hur de tänker. Dagens lösningar försöker bygga det förtroendet via noggrant utformade behörighetssystem, men det skapar ett nytt problem: någon måste bevisa att just det systemet är säkert. PC2 vänder på det hela och låter agenten själv bära bevisbördan, vilket är närmre hur vi faktiskt hanterar kontrakt mellan människor och företag.