GPT-modell klarar 196 på varandra beroende beräkningssteg utan att tappa tråden

arXiv cs.AI

Forskare testade om stora språkmodeller kan hålla reda på exakt mellanliggande tillstånd under långa uppgiftskedjor – ett känt svagt område – genom att låta modellen beräkna en MD5-hash steg för steg via 196 verktygsanrop. GPT-oss-120b (med ~5,5 miljarder aktiva parametrar per token) lyckades returnera rätt svar i majoriteten av körningarna utan att ändra modellens vikter. Nyckeln var två enkla knep: att låta modellen behålla sitt eget resonemang i kontexten mellan varje steg, och att rösta bland flera svar för att filtrera bort räknefel.