Nytt test avslöjar att AI-agenter klarar bara hälften av verkliga ingenjörsuppdrag

arXiv cs.AI

Forskare har lanserat PLE, ett nytt riktmärke (benchmark) med 85 komplexa ingenjörsuppgifter inom el, bygg, konstruktion och mekanik – uppgifter som en riktig ingenjör skulle fakturera för. Även de starkaste AI-agenterna når bara 50,6% rätt i snitt, trots att de lägger i genomsnitt 63 minuter och 27 miljoner tokens per uppgift. Det är en nyttig påminnelse om att de befintliga testen – där modeller nu skorar över 90% – helt enkelt inte mäter vad som faktiskt krävs i arbetslivet.