Ny arkitektur gör AI-frågesystem 12 gånger billigare genom att förbereda fakta vid inläsning

arXiv cs.AI

Istället för att låta AI-modellen tolka och sammanställa dokument varje gång en fråga ställs, föreslår forskarna att man gör det jobbet en gång när materialet matas in i systemet – ungefär som att bygga ett index i förväg. I ett kontrollerat experiment klarade samma billiga modell 30 av 30 frågor med den nya metoden, mot bara 1 av 30 med traditionell metod, och kostnaden per fråga sjönk med en faktor 12,89. Koden släpps öppen under MIT-licens.