Strukturerad output sänker inte AI-prestanda – om man gör det rätt
Nya forskning utmanar uppfattningen att det alltid kostar prestanda att tvinga språkmodeller att svara i strukturerade format som JSON. Det avgörande är i vilken ordning fälten placeras: om modellen får resonera innan den ger svar matchar strukturerad output fri text, medan omvänd ordning – svar först, resonemang sedan – kraftigt försämrar resultaten, särskilt i mindre modeller. Kort sagt: problemet är inte strukturen i sig, utan hur schemat är designat.
Djupdykning
När du tvingar en AI att svara i JSON eller XML istället för fritext så har man länge trott att modellen helt enkelt blir sämre – en slags "strukturskatt" du betalar för att få maskinläsbar output. Den här studien visar att det är fel sätt att tänka på det. Det som faktiskt avgör är i vilken ordning du ber modellen tänka: låter du den resonera först och sedan ge svaret (reasoning-first), klarar den sig lika bra eller bättre än fritext, men tvingar du den att ge svaret direkt och motivera efteråt (answer-first) rasar prestandan – särskilt i mindre modeller som helt enkelt inte har kapaciteten att hålla hela resonemanget i huvudet medan de fyller i ett schema bakifrån. Det är egentligen logiskt när man tänker efter – vi ber ju inte heller en människa att skriva sin slutsats överst och sedan förklara hur de kom dit, det stör tankeprocessen. Det forskargruppen också mätte är kalibrering, alltså hur väl modellens självförtroende matchar hur ofta den faktiskt har rätt, och där ser rätt schemadesign ut att hjälpa modellen att skilja mellan när den vet något och när den gissar. Det flesta pratar om prompt engineering som handlar om vad du frågar – den här studien påminner om att formatet på svaret är lika mycket en del av frågan.