Ny AI-simulator härmar riktiga användare så bra att människor knappt kan skilja dem åt

arXiv cs.AI

Forskare har byggt TRACER, en simulator som efterliknar hur riktiga användare beter sig i flerrundiga konversationer – inte bara vad de säger, utan hur deras avsikter förändras över tid. TRACER-7B slog det näst bästa systemet med 11,4 procentenheter i conversion F1, och i mänskliga tester gissade folk rätt bara ungefär hälften av gångerna (alltså i princip slumpmässigt). En intressant bieffekt: med det nya benchmark-testet som följde med forskningen visade det sig att högre svarskvalitet hos en AI inte automatiskt betyder att den är bättre på att faktiskt övertala användare.