Forskare bevisar att AI-modeller behöver linjärt fler tokens för komplex problemlösning
Forskare har bevisat att stora språkmodeller behöver Ω(n) reasoning-tokens för att lösa problem där input-storleken är n, vilket skapar fundamentala flaskhalsar för inference-tid. Experimentella tester med avancerade modeller bekräftar den teoretiska analysen och visar att modellerna misslyckas när de begränsas till mindre reasoning-budgetar.
Djupdykning
Forskare från Stanford och andra institutioner har för första gången etablerat teoretiska nedre gränser för hur många "resoneringstoken" stora språkmodeller behöver för att lösa komplexa problem genom chain-of-thought-resonemang. Studien visar att för vissa fundamentala uppgifter som majoritetsröstning och graftraversering krävs ett antal resoneringstoken som växer linjärt med problemstorleken – det går helt enkelt inte att lösa större problem utan proportionellt mer "tankekraft". Detta är betydelsefullt eftersom det säger att inference-time scaling, där AI-modeller får mer tid att "tänka" för bättre prestanda, har inbyggda begränsningar som inte kan kringgås genom smartare algoritmer eller arkitekturer. Resultaten bekräftades genom experiment med avancerade AI-modeller som Claude och GPT-4, som verkligen behövde fler resoneringstoken för större problem och misslyckades när de begränsades till färre. Forskningen ger viktiga insikter för utvecklare av AI-system om var beräkningsresurser bör investeras och vilka förväntningar som är realistiska för framtida förbättringar. Nyckelinsikt: AI-modellers "tänkande" har fundamentala matematiska begränsningar som innebär att vissa problem alltid kommer kräva proportionellt mer beräkningstid när de blir större.