AI-agenter misslyckas som testpanel för marknadsföring – klarar bara 2 av 6 tester

arXiv cs.AI

Forskare testade om AI-modeller (GPT-4o-mini och GPT-5.4-mini) kan ersätta riktiga konsumenter när varumärken vill förhandstesta logotyper och reklam – och resultaten var nedslående: ingen konfiguration lyckades återskapa mer än 2 av 6 mänskliga reaktionsmönster, och i ett fall pekade AI:n åt helt fel håll. Det går att 'styra' modellerna med extra kontext så att genomsnittssvaret liknar människors, men då försvinner variationen – AI:n underskattar hur olika verkliga konsumenter faktiskt reagerar. Studien mynnar ut i ett protokoll för när syntetiska konsumenter duger som snabbfilter och när man ändå måste anlita en riktig panel.