Nytt test avslöjar att AI-modeller är dåliga på att tolka versionskrav i kod

arXiv cs.AI

Forskare har skapat SemVerBench, ett test med 240 frågor som mäter hur väl stora språkmodeller förstår versionskrav i pakethanterare (som npm och pip) – och resultaten är ojämna. GPT-4.1 klarar noll av 26 frågor om ett specifikt PEP 440-kantfall, medan Claude håller 97–100% på samma uppgifter. Den praktiska slutsatsen är enkel: AI-kodagenter bör inte räkna ut versionskrav i huvudet utan delegera det till ett dedikerat verktyg som alltid ger rätt svar.