Nytt ramverk hjälper AI-team testa fler modellförändringar utan att slösa på riktiga användare

arXiv cs.AI

Forskare har byggt ett system som kan förutsäga hur förändringar i en konversations-AI påverkar användarengagemang – utan att behöva köra dyra A/B-tester på riktig trafik. I ett test på 489 jämförelser från 27 experiment nådde metoden 81,1% F1-poäng (ett mått på träffsäkerhet) jämfört med 34,3% för den råa baslinjen, och gjorde inga felaktiga riktningsbedömningar alls. Det praktiskt intressanta: AI-team kan prioritera vilka modellversioner som faktiskt är värda att testa på riktiga användare, istället för att slösa bort begränsad testtrafik.