Vals AI vill bli den neutrala domaren för AI-modeller
Vals AI, som backas av riskkapitalfirman Andreessen Horowitz, försöker etablera sig som en trovärdig och neutral källa för AI-benchmarking – det vill säga oberoende tester som mäter hur bra olika AI-modeller faktiskt presterar. Det är ett intressant problem: i dag är det ofta AI-företagen själva som presenterar sina egna testresultat, vilket gör det svårt att veta vad man ska lita på.
Djupdykning
Benchmarking – alltså att systematiskt testa och jämföra AI-modellers prestanda – har länge varit ett vilda västern-område där AI-bolagen i princip satt sin egna betyg. Vals AI, med riskkapitaljätten Andreessen Horowitz i ryggen, vill ändra på det genom att bygga en oberoende standard för hur modeller faktiskt utvärderas. Det som de flesta missar i den här nyheten är hur enormt mycket som står på spel: när företag väljer vilken AI-modell de ska betala för och bygga sina produkter runt, litar de ofta blint på de siffror som modellskaparna själva publicerat – vilket är ungefär lika neutralt som att låta McDonald's skriva Livsmedelsverkets kostråd. En trovärdig tredjepartsaktör som faktiskt kan sätta spelreglerna för branschen skulle förskjuta otroligt mycket makt från OpenAI, Google och Anthropic till den som äger måttstocken. Frågan är bara om Vals, med A16Z:s fingeravtryck på sig, verkligen uppfattas som neutral nog för att fylla den rollen.