AI-modellers testresultat via API stämmer inte med hur de faktiskt beter sig i chatten

arXiv cs.AI

Forskare har granskat ChatGPT, Claude och Gemini och funnit att prestandan skiljer sig märkbart beroende på om man testar via API (programmeringsgränssnitt) eller via den vanliga chattgränssnittet – i snitt 3,4 procentenheter lägre träffsäkerhet i chatten. För ChatGPT är skillnaden mellan API och chattgränssnitt till och med större än skillnaden mellan GPT 5.3 och GPT 5.4, vilket i praktiken innebär att du kan 'tappa' en hel modellgeneration bara genom att byta hur du ansluter. Det här är ett problem eftersom de benchmarktester som formar köpbeslut och policydiskussioner nästan alltid körs via API – inte via det gränssnitt vanliga användare faktiskt möter.