Pratar AI-agenter faktiskt med varandra – eller bara förbi varandra?
När flera AI-agenter kommunicerar via interna representationer (latenta kanaler) istället för text är det oklart om mottagaren faktiskt använder den information avsändaren skickat. Forskare testade detta med en ny granskningsmetod på modellerna Qwen3-4B och 8B och fann att övergripande träffsäkerhet döljer vad som faktiskt händer: på GSM8K-uppgifter splittras en till synes liten effekt på -1 procentenhet upp i två komponenter på -6,17 och +5,17 poäng som tar ut varandra. Det är en påminnelse om att bra slutresultat inte garanterar att kommunikationen fungerar som man tror.
Djupdykning
De flesta som bygger multi-agent AI-system mäter framgång på ett enkelt sätt: löser systemet uppgiften bättre med flera agenter än utan? Den här studien argumenterar att den frågan är fel formulerad från grunden. Forskarna introducerar något de kallar en "kausal revision" – i korthet ett sätt att kirurgiskt byta ut de interna meddelanden som agenter skickar till varandra för att förstå *vad* som faktiskt hjälper mottagaren. Det som dyker upp är lite skrämmande om du jobbar med det här: en agent kan prestera bättre tack vare att den vet att ett meddelande *finns*, snarare än att meddelandets faktiska innehåll är relevant för det specifika problemet den löser just nu. På GSM8K (ett matematikbenchmark för grundskolematematik) ser Qwen3-4B ut att förlora prestanda totalt sett, men under ytan döljer sig två krafter som pekar i motsatta riktningar och nästan tar ut varandra. Det är som att mäta temperaturen i ett rum med en öppen ugn och ett öppet fönster och säga att temperaturen är "ungefär normal." Det de flesta missar när latent kommunikation – alltså direktöverföring av en modells interna representationer istället för vanlig text – lyfts fram som en fördel, är att högre kapacitet att *bära* information inte automatiskt betyder att informationen *används* på rätt sätt. En 8B-modell och en 4B-modell reagerar dessutom helt omvänt på samma typ av meddelandemanipulation, vilket antyder att slutsatser från ett system inte går att generalisera till ett annat. Nästa gång du ser ett paper som rapporterar att ett latent multi-agent-system slår ett baslinjesystem med X procentenheter är frågan du borde ställa: är det agentens budskap, agentens existens, eller bara en form av statistisk brus?