Kunskapsredigering av AI-modeller skadar deras förmåga att värdera information – utan att synas i vanliga tester

arXiv cs.AI

När man sekventiellt redigerar fakta i en språkmodell (alltså lägger till ny kunskap direkt i modellens vikter) försämras något som standardtesterna inte mäter: förmågan att avgöra vilka källor som är trovärdiga. Efter 1 000 redigeringar på Qwen2.5-7B låg MMLU-resultatet (ett vanligt kunskapstest) oförändrat, men modellens förmåga att skilja pålitlig information från opålitlig föll med 36%. Det är lite alarmerande att tre av fem testade modell- och metodkombinationer dessutom kollapsade helt på MMLU vid 1 000 redigeringar – medan redigeringarna själva verkade ha lyckats felfritt.