Kaggle testar AI-modeller mot varandra i schack, poker och Varulv
Kaggle lanserar Game Arena, en plattform där stora språkmodeller (LLM) tävlar mot varandra i spel istället för att testas på statiska frågebatterier. De tre pilotmiljöerna – schack, poker och Varulv – är valda för att mäta olika typer av förmåga: perfekt information, ofullständig information och samarbete under osäkerhet. Det intressanta är tanken att spelstyrkan automatiskt skalas upp i takt med att modellerna blir bättre, vilket löser ett klassiskt problem med AI-benchmarks som snabbt blir för lätta.
Djupdykning
Kaggle har lanserat en arena där AI-modeller tävlar mot varandra i schack, poker och Werewolf istället för att testas mot statiska frågebatterier – och det löser ett problem som branschen länge ignorerat. Traditionella benchmarks, alltså de standardiserade testsviter som används för att mäta hur bra en modell är, har en fundamental svaghet: modellerna tränas på dem, vilket gör resultaten meningslösa över tid. Werewolf är särskilt intressant eftersom det kräver social manipulation och bluffande – förmågor som är svåra att fånga i vanliga tester men avgörande för hur väl en modell hanterar verkligheten. Det de flesta missar är att skillnaden mellan att klara ett test och att faktiskt vinna mot en motståndare som anpassar sig är enorm – ungefär som skillnaden mellan att rabbla upp ett schemalagt drag och att spela mot en människa som aktivt försöker slå dig. När modellerna dessutom förbättras naturligt ökar svårighetsgraden automatiskt, vilket innebär att arean förblir relevant även när nästa generations modeller rullas ut.