Nytt träningssystem gör AI-rollspelsagenter svårare att lura

arXiv cs.AI

Forskare har byggt ett system kallat AdvRole där en AI-agent tränas på rollspel samtidigt som en annan AI aktivt skriver om scenarierna för att hitta agentens svagheter – ungefär som en tränare som ständigt anpassar utmaningarna efter hur bra du blivit. Idén löser ett klassiskt problem: att träningsdata snabbt blir för lätt när modellen förbättras, vilket gör att inlärningen stannar av. Systemet testades på tre befintliga riktmärken för engelska och kinesiska, plus ett nytt flerspråkigt riktmärke som forskargruppen själv släpper, och slog samtliga jämförelsemetoder.