Snygg struktur räcker inte – AI-genererade kategorisystem misslyckas i praktiken

arXiv cs.AI

Forskare testade AI-genererade taxonomier (hierarkiska kategorisystem) för att sortera kundfeedback och fann att de ser korrekta ut på ytan men fungerar dåligt i praktiken – i ett fall hamnade tre av fyra poster i flera kategorier samtidigt. Problemet är att dagens utvärderingsmetoder kollar varje nod för sig, inte trädet som helhet, vilket gör att uppenbara brister missas. Studien föreslår nya mätvärden som testar om trädet faktiskt är användbart för ett team att arbeta med.