Fler beräkningar från samma AI-modell ger inte alltid bättre svar
Forskare visar att när en språkmodell (LLM) gör fel, tenderar den att göra samma fel igen – oavsett hur mycket extra beräkningstid den får. Deras lösning, DIA, triggar automatiskt in en liten grupp olika modeller när den huvudsakliga modellen verkar osäker, och det räcker för bara 17% av frågorna. Metoden slår vanlig chain-of-thought (steg-för-steg-resonemang) i 12 av 14 testfall och använder upp till 47% färre tokens än jämförbara multi-agent-system.
Djupdykning
De flesta diskussioner om att skala upp AI-reasoning handlar om att ge modellen mer tid att tänka – längre chain-of-thought, fler försök, självkritik. Det bygger på en tyst antagning: mer compute från samma modell ger mer *oberoende* bevis. Det den här studien visar är att det antagandet är fel. En modell som gör samma misstag en gång tenderar att göra det igen, oavsett hur länge den får tänka, och när den utvärderar sina egna svar är den systematiskt blind för sina egna blinda fläckar – felen korrelerar med varandra, de är inte slumpmässiga. Det som de flesta missar i AI-hype-cykeln är skillnaden mellan *mer beräkning* och *mer information*. Om du frågar samma person tio gånger om ett svar de inte vet, får du inte tio datapunkter – du får ett eko. DIA (Disagreement-triggered Independent Arbitration) löser det genom att flagga frågor där modellen är osäker på sig själv och sedan skicka dem till ett litet råd av *olika* modeller som löser problemet utan att se varandras svar, ungefär som att ta in second opinions från läkare med olika specialiseringar istället för att fråga samma läkare om och om igen. Resultatet är bättre prestanda på 12 av 14 testscenarier, och systemet aktiveras bara på de ~17% av frågorna där det faktiskt behövs – vilket håller tokenkostnaden nere. Det här förskjuter tyngdpunkten i hur man bygger pålitliga AI-system: inte mot en starkare ensam modell, utan mot smarta ensembler som vet när de ska samarbeta.