Kan AI förutsäga hur bra AI-modeller presterar – utan att köra testerna?

arXiv cs.AI

Forskare har tagit fram EVALCAST, en databas med 2 290 beskrivningar kopplade till verkliga testresultat från 1 519 arXiv-artiklar, för att se om en AI-modell kan gissa hur bra en annan modell presterar på ett benchmark (standardiserat prestandatest) – bara utifrån en textbeskrivning av uppgiften. Resultaten visar att det är svårt att gissa exakta siffror, men att rangordna vilket test som är svårast relativt ett annat fungerar förvånansvärt bra. Tanken är att spara tid och pengar genom att prioritera vilka tester som faktiskt är värda att köra.