Forskning visar hur AI-tester formar hela branschen – och hur de kan manipuleras

arXiv cs.AI

Forskare har byggt en simuleringsmiljö för att studera hur AI-benchmarks (standardiserade tester som mäter modellers förmåga) påverkar modellföretag, användare och regulatorer. En central slutsats: om man byter från öppna till privata, hemliga testset minskar gapet mellan testresultat och faktisk användarnöjdhet – men inte alltid, det beror på exakt vad testerna prioriterar. Det är ett intressant påpekande eftersom hela AI-branschen just nu lutar tungt på benchmarks för att motivera miljardkronorsinvesteringar.