AI-agenter lär sig vem de kan lita på – men det räcker inte alltid
Forskare har testat om LLM-agenter (språkmodeller som agerar självständigt) kan bygga upp förtroende för varandra under upprepade förhandlingar, där en deltagare i hemlighet försöker sabotera överenskommelser. Agenterna lärde sig identifiera sabotören på några rundor, men det förbättrade inte automatiskt utfallet – avtalsfrekvensen ökade med upp till 23 procentenheter bara när agenterna uttryckligen instruerades att faktiskt använda sin förtroendeanalys i sina beslut. Det intressanta är att det inte räcker att veta vem man kan lita på – man måste också bli tillsagd att bry sig om det.
Djupdykning
LLM-agenter som förhandlar å våra vägnar är inte längre science fiction – de används redan i allt från affärsavtal till diplomatiska simulationer. Den här studien testar något grundläggande: kan en AI-agent lära sig vem den ska lita på baserat på tidigare interaktioner, och hjälper det egentligen? Svaret är nedslående elegant – ja, agenterna identifierar ganska snabbt vem som försöker sabotera förhandlingen, men det räcker inte. Att *veta* att motparten är opålitlig och att faktiskt *använda* den informationen i beslutsfattandet är två helt olika saker, och det är gapet som forskarna kallar "trust–agreement gap". Det de flesta missar här är att problemet inte är intelligens – det är arkitektur. LLM-agenter är tränade att vara samarbetsvilliga och verbalt övertygande, vilket gör dem dåliga på att agera strategiskt kallt mot någon de "vet" är en motståndare. Lite som att be en HR-person att spela pokermästerskap: de förstår spelet men beteendet sitter inte i ryggmärgen. Att tillitstalen förbättrade avtalsfrekvensen med upp till 23 procentenheter – men bara när agenterna explicit instruerades att använda dem – antyder att nästa generations förhandlings-AI behöver hårdkodade beslutsregler, inte bara mjuk kontextuell förståelse.