Nytt system för AI-sökning ger upp till 4,5 gånger högre prestanda

arXiv cs.AI

Forskare har byggt Orthrus, ett system som kombinerar två typer av AI-modeller – inbäddningsmodeller (som förstår betydelse) och generativa modeller – i en gemensam process istället för att köra dem separat. På fyra A100-GPU:er uppnår systemet upp till 4,52 gånger högre genomströmning och 55,8 procent lägre fördröjning jämfört med vanliga driftsättningar. Intressant nog är problemet inte modellerna i sig utan hur de schemaläggs – ett infrastrukturproblem som ofta underskattas när man bygger RAG-system (söksystem som kopplar ihop AI med externa kunskapskällor).