Testerna som bedömer AI kanske mäter fel saker

Stanford HAI

De riktmärken (standardiserade tester) som används för att mäta hur bra AI-modeller presterar kan vara missvisande – och vi kanske rankar modeller högt av fel anledningar. Det är ett grundläggande problem: om testerna inte mäter det vi faktiskt bryr oss om, vet vi inte om AI verkligen blir bättre eller bara bättre på att klara proven.