Nytt testramverk avslöjar att AI-modeller hallucinerar mest när de behöver faktakunskap
Forskare har tagit fram KnowHal, ett benchmark med 1 800 testfall som utvärderar hur ofta multimodala AI-modeller (sådana som hanterar både bild och text) hittar på saker – och resultaten är tydliga: kunskapsfrågor är det svåraste för nästan alla 14 testade modeller. Extra intressant är att modellerna presterar markant sämre när frågorna innehåller en falsk premiss, vilket tyder på att de är dåliga på att ifrågasätta felaktiga påståenden.
Djupdykning
Hallucination i AI-sammanhang betyder att modellen hittar på saker med självsäker ton – den ser en bild och påstår att det är en viss fågelart, eller att en person bär glasögon när de inte gör det. Det nya benchmarket KnowHal testar detta på ett smartare sätt än tidigare genom att dela upp felen i fyra kategorier: entiteter (vad är det här?), attribut (hur ser det ut?), relationer (vad händer mellan saker?) och kunskap (vad vet modellen om det den ser?). Det verkligt intressanta fyndet är att kunskapsdimensionen konsekvent är svårast för nästan alla 14 testade modeller – vilket antyder att det inte räcker att träna en modell att se bättre, den måste också koppla synen till faktabaserad förståelse på ett sätt som fortfarande är olöst. Ännu mer avslöjande är att modellerna kraschar på "negativa frågor", alltså frågor som bygger på en falsk premiss – fråga en modell "varför bär personen hatt?" när personen inte bär hatt, och den hittar på en förklaring istället för att ifrågasätta premissen. Det folk missar i debatten om AI-hallucinationer är att det egentligen handlar om två separata problem som blandas ihop: perceptuella fel (modellen ser fel) och epistemiska fel (modellen vet inte vad den inte vet) – och KnowHal är ett av de första seriösa försöken att faktiskt mäta dem åtskilt.