Forskning visar att AI-simulerade användare ger skeva rekommendationssystem-tester

arXiv cs.AI

När forskare använder språkmodeller (LLMs) för att simulera användare vid utvärdering av rekommendationssystem uppstår ett grundläggande problem: hur aktiv en simulerad användare är påverkar oavsiktligt vad den låtsas tycka om, vilket snedvrider testresultaten. Forskargruppen bakom studien föreslår en metod kallad PQA som låter simulatorn avbryta en söksession tidigt om innehållet inte matchar användarens preferenser – ungefär som en riktig människa skulle göra.