Nytt test avslöjar stora brister hos AI-modeller vid beslut om datacenterbyggen

arXiv cs.AI

Forskare har lanserat DCBench-440, ett test som mäter hur väl AI-modeller hanterar komplexa beslut kring datacenterkonstruktion – där tidiga val om energikälla, kylsystem och placering låser fast kostnader och koldioxidutsläpp i decennier. Resultaten är ojämna: träffsäkerheten varierar mellan 12,5 och 71,5% på öppna frågor beroende på modell. Den kritiska svagheten är att ingen modell klarar av att lista alla möjliga handlingsalternativ vid ett beslutssteg – bästa resultat är 4% exakt matchning, vilket är problematiskt om AI ska användas för att screena stora infrastrukturprojekt.