Kan AI bygga sina egna testbänkar?

arXiv cs.AI

Forskare har utvecklat EvalBuilder, ett ramverk där AI-agenter själva konstruerar billigare och snabbare utvärderingar av andra AI-modeller – ett svar på att traditionella benchmarks (standardiserade tester för att mäta AI-prestanda) är dyra och tidskrävande att bygga manuellt. Idén är elegant: låt AI lösa det problem som uppstår när vi ska mäta AI. Ramverket utvärderar om de AI-skapade testerna håller måttet längs tre axlar – trovärdighet, effektivitet och robusthet.