Nytt riktmärke testar hur bra AI hanterar dokument med blandad text och bilder

arXiv cs.AI

Forskare har lanserat TopoGraphRAG-Bench, ett testramverk med 2 024 frågor över 201 dokumenttäta filer, för att mäta hur väl GraphRAG-system (AI som kombinerar kunskapsgrafer med informationshämtning) klarar av att länka ihop bevis spridda över text, tabeller och figurer. Resultaten visar att multimodala system presterar bäst men fortfarande tappar bort sig när de behöver koppla visuellt och textuellt innehåll till varandra. Rent textbaserade system missar helt enkelt när nyckelsvar sitter i en tabell eller ett diagram – vilket nog inte förvånar, men det är nyttigt att ha siffrorna på bordet.