BatchDAG låter en LLM planera dataanalys över 50 000 möten på under 60 sekunder

arXiv cs.AI

Forskare har byggt BatchDAG, ett system där en LLM automatiskt ritar upp en arbetsplan (en riktad acyklisk graf) för att analysera stora företagsdataset – istället för att köra allt sekventiellt och sakta. Smarta optimeringar minskar antalet LLM-anrop med upp till 47 gånger, och i praktiken klarar systemet frågor mot 50 000+ mötesutskrifter på under 60 sekunder till en kostnad av 0,02–0,24 dollar per fråga. Det intressanta är inte att det är mer exakt än handbyggda pipelines – det är ungefär likvärdigt – utan att man kan byta ut ett helt knippe specialbyggda lösningar mot ett enda system som genererar rätt strategi från vanlig text.