Nytt test avgör vilka AI-agenter som faktiskt förbättras av träning

arXiv cs.AI

Forskare har utvecklat ett admissionstest för att avgöra om så kallade merge-operatorer – metoder som kombinerar egenskaper från olika AI-agenter – faktiskt gör en agent bättre. Av de testade metoderna godkändes 'tactic append' och 'template append', medan 'free rewrite' underkändes eftersom den bara nådde en tredjedel av den efterfrågade förbättringen. Det intressanta är att testet mäter framsteg mot populationen snarare än mot ett fast facit, vilket gör det svårare att fuska sig till ett godkänt resultat.