Nytt test mäter AI:s förmåga att designa forskning – ett system slår redan mänskliga experter
Forskare har skapat TasteVal, ett test som mäter hur bra AI-modeller är på att välja experiment och dra slutsatser från resultaten – det man kallar 'research taste'. Det bästa systemet, Opus 5.5, presterar 2,3 gånger effektivare än mänskliga expertforskare och kostar ungefär en trettiondel av vad experterna spenderade per försök. Det intressanta är takten: sedan december 2025 har denna förmåga fördubblats var tredje månad, mot tidigare var fjortonde månad – en acceleration som, om den håller, får stora konsekvenser för hur snabbt AI-forskning kan drivas framåt.
Djupdykning
Forskningssmak – förmågan att instinktivt veta vilka experiment som är värda att köra – har länge ansetts vara det som skiljer en medioker forskare från en briljant en. Det är svårt att sätta fingret på, ännu svårare att mäta, men det är precis vad Anthropic och kollegor försöker göra med TasteVal. Benchmarket testar om en AI kan designa smarta experiment iterativt givet ett fast problem, och mäter effektiviteten i "compute-multiplier" – alltså hur mycket datorkraft en modell sparar jämfört med en mänsklig expert för att nå samma resultat. Claude Opus 5.5 klarar sig bättre än de mänskliga experterna med en multiplikator på 2,3x, till ungefär en trettiodelsdel av kostnaden. Det de flesta missar i rubrikerna om "AI slår forskare" är att accelerationstakten är mer alarmerande än resultaten i sig. Compute-multiplikatorn dubblerades var fjortonde månad fram till december 2025 – sedan dess har det gått var tredje månad. Det är inte en linjär förbättring, det är ett trendbrott, och det sker specifikt i förmågan att planera och resonera strategiskt under osäkerhet snarare än att bara koda snabbt. Om den takten håller i sig handlar det inte om att AI assisterar forskare – det handlar om att AI börjar definiera vilken forskning som överhuvudtaget görs.