Nytt ramverk minskar klyftan mellan bild och text i AI-sökning

arXiv cs.AI

Forskare har tagit fram CEMMKG, ett ramverk som förbättrar så kallad RAG (retrieval-augmented generation – när en AI hämtar extern information för att minska felaktiga påhitt) genom att bättre koppla ihop bilder med relevant textkontext. Problemet de löser är konkret: befintliga system hanterar bild och text separat, vilket skapar en semantisk klyfta som försämrar svaren. Experiment visar att metoden fungerar brett över olika typer av kunskapsgrafsystem, vilket antyder att det är ett generellt verktyg snarare än en lösning för ett enskilt system.