Nytt test avslöjar att AI-modeller inte klarar av att hitta frågan själva

arXiv cs.AI

EnigmaForge är ett nytt testramverk som inte berättar för AI-modellen vad den ska lösa – pusslet är gömt i en hög gamla dokument och modellen måste själv lista ut vad frågan är. Testet kördes på 25 toppmodeller över 600 instanser, och resultaten är slående: modellernas förmåga att faktiskt lösa problemet varierar 22 gånger mer än deras förmåga att bara hämta fakta, och en modell presterade märkbart bättre när den inte fick veta frågan. En lustig bieffekt: flera modeller blockerade sig själva via sina egna innehållsfilter innan de ens nådde pusslet – vilket väcker frågan om man egentligen mäter intelligens eller filterinställningar.