GitHub lanserar öppet riktmärke för AI-kodgranskning
GitHub släpper ReviewBench, ett öppet riktmärke (benchmark) för att mäta hur bra AI-agenter faktiskt är på att granska kod – byggt på riktiga pull requests från GitHub. Det intressanta här är att det länge saknats ett standardiserat sätt att jämföra dessa verktyg, så det här fyller ett verkligt hål i hur branschen utvärderar AI-assisterad kodgranskning.
Djupdykning
GitHub har lanserat ReviewBench, ett öppet riktmärke för att mäta hur bra AI-agenter är på att granska kod – det vill säga den process där en utvecklare kontrollerar en annan persons kodändringar innan de slås samman i ett projekt. Benchmarket bygger på riktiga pull requests från GitHub, vilket är viktigt eftersom syntetiska tester ofta missar de röriga, halvfärdiga och kontextberoende situationer som faktisk kodgranskning innebär. Det som de flesta missar i den här typen av nyheter är att problemet inte är om AI kan hitta buggar – det kan den redan ganska bra – utan om den kan ge feedback som faktiskt är användbar för en människa att ta emot och agera på, vilket är ett helt annat problem. Genom att använda "multi-source ground truth", alltså flera olika källor för vad som räknas som ett korrekt svar, försöker GitHub kalibrera bort den subjektivitet som alltid funnits i kodgranskning – erfarna utvecklare är sällan överens om exakt vad som är bäst. Om det här benchmarket faktiskt används brett av AI-labs som en måttstock, kan det forma hur nästa generation kodgranskningsverktyg tränas och prioriterar feedback, vilket i praktiken påverkar hur mjukvara byggs globalt.