Nytt riktmärke testar hur bra AI är på att bygga ontologier

arXiv cs.AI

Forskare har tagit fram CQ4OE, ett standardiserat testramverk för att mäta hur väl stora språkmodeller (LLM:er) klarar av att automatiskt bygga ontologier (strukturerade kunskapsmodeller) utifrån kravfrågor. Nio olika LLM:er testades över 99–118 frågor, och resultaten visar att modellerna är bättre på att plocka upp rätt begrepp än att faktiskt konstruera hela ontologistrukturer – särskilt när det gäller hierarkier och logiska regler. Det är ett klassiskt mönster: AI hittar ord men kämpar med struktur.