Nya riktmärken avslöjar mätfel i AI-baserad kodkorrigering

arXiv cs.AI

Forskare har byggt ett nytt dataset med 5 784 träningspar och 459 testfall för att mäta hur bra AI-modeller är på att reparera felaktig hårdvarukod (RTL – Register Transfer Level, ett programmeringsspråk för chip-design). Det intressanta är inte själva datasetet utan vad de hittade längs vägen: beroende på hur man mäter kan samma modell se ut att prestera 8,5 procentenheter sämre eller 18,3 procentenheter bättre – vilket tyder på att nuvarande mätmetoder mäter fel saker. Studien föreslår tydligare utvärderingsprotokoll så att resultaten faktiskt säger något meningsfullt.