Språkmodeller tänker i metoder, inte ämnen – när de löser matematik

arXiv cs.AI

Ny forskning visar att stora språkmodeller internt organiserar matematiskt resonemang efter tillvägagångssätt – till exempel 'algebraisk metod' eller 'geometrisk analys' – snarare än efter ämnesområde som addition eller geometri. Studien testade åtta modeller på fem olika datakällor, och oberoende AI-domare hittade den här typen av metodbaserad struktur i 77–82% av de analyserade klustren. Det praktiska problemet: de flesta träningsdataset och testbenchmarks är sorterade efter ämne, vilket innebär att de omedvetet kan skapa obalanser i just de resoneringsmetoder som faktiskt spelar roll.