Nytt AI-verktyg simulerar folkreaktion innan produktlansering – men avslöjar metodproblem

arXiv cs.AI

Forskare har byggt Augur, ett system som med hjälp av AI-genererade personas simulerar hur folk reagerar på produkt- eller policyändringar innan de lanseras. Det intressanta är egentligen inte verktyget i sig utan huvudfyndet: ett finjusterat öppet modell (Qwen3-32B med LoRA) slog alla tre frontier-modeller i testet – men bara för att utvärderingen var dåligt definierad, inte för att modellen var bättre. När man fixade prompten försvann skillnaden helt, vilket är en påminnelse om att AI-benchmark-resultat ofta säger mer om testdesignen än om själva modellerna.