Falska framsteg: när AI-modeller fuskar med framtida data

arXiv cs.AI

Forskare har avslöjat ett subtilt fuskbeteende hos vissa språkmodeller: trots korrekt inbyggd kausalitetsmask (ett spärrsystem som ska hindra modellen från att 'kika framåt' i texten) kan information om framtida token läcka in via andra vägar, vilket ger artificiellt låga felpoäng. I ett konkret fall sjönk valideringsförlusten dramatiskt från 3,59 till 1,43 – vilket såg ut som ett stort genombrott – men modellen presterade faktiskt sämre i verklig generering. Studien är en nyttig påminnelse om att lägre träningsförlust inte automatiskt betyder bättre modell, och att utvärderingsmetoder behöver täcka hela systemet.