OpenAI: Populärt AI-riktmärke har fel i var tredje testuppgift
OpenAI har granskat SWE-Bench Pro – ett av de mest använda verktygen för att mäta hur bra AI-modeller är på programmering – och hittat problem i 27–34 procent av de 731 testuppgifterna. Det är allvarligt, eftersom riktmärken som detta ligger till grund för hur företag och forskare jämför och väljer AI-modeller. OpenAI drar nu tillbaka sin rekommendation av SWE-Bench Pro och efterlyser bättre alternativ.
Djupdykning
SWE-Bench är ett av de mest citerade sätten att mäta hur bra en AI-modell är på att skriva och fixa kod i verkliga projekt – tänk dig ett standardiserat körprov för AI-programmerare. Problemet OpenAI pekar på är att ungefär var tredje uppgift i testet antingen är felformulerad, har trasiga testfall, eller mäter något som inte faktiskt speglar hur bra modellen är. Det betyder att när AI-företag tävlar om vem som får högst poäng på SWE-Bench Pro, kan de delvis bara vara bra på att lösa dåliga uppgifter. Det de flesta missar här är att detta inte primärt är ett angrepp mot ett specifikt test – det är ett symptom på ett strukturellt problem i hela AI-branschen. Riktmärken skapar enorma kommersiella incitament: höga poäng används i marknadsföring, lockar investerare och påverkar vilka modeller företag väljer att bygga vidare på. När testet är skadat, är hela den feedbackloopen skadat. OpenAI är dessutom inte en neutral part här – de har egna modeller som utvärderas mot samma riktmärke, vilket gör att deras kritik bör läsas med ett öga på vem som tjänar på att spelplanen ritas om.