Nytt ramverk för styrning av AI-agentgrupper – men verifieringen haltar mot riktiga LLM-svar

arXiv cs.AI

Forskare presenterar PRIMUS, ett system för att hantera identitet och styrning i nätverk av samverkande AI-agenter (så kallade multi-agent federations), och lyckas bland annat sänka felaktig agentavstängning från 80% till 0% vid 10% brus i kommunikationskanalen. Mer intressant är dock del två: när systemets verifierare testas mot faktiska LLM-genererade svar rasar korrelationsvärdet från 0,82 till 0,41 – ungefär en fjärdedel av kalibreringsvärdet – vilket antyder att det är betydligt svårare att bedöma AI-output i verkligheten än i kontrollerade experiment. Hela studien kostade 164,78 dollar i beräkningskostnader.