Wiki-strukturerad AI-tutor slog vanlig RAG på kursuppgifter

arXiv cs.AI

Forskare jämförde två sätt att låta en AI svara på frågor om en maskininlärningskurs: traditionell RAG (söker i råa kursdokument) mot en wiki kompilerad av en LLM. På enkla faktafrågor presterade båda lika, men på frågor som kräver kopplingar mellan kursavsnitt vann wikin klart – 9,93 av 10 poäng mot 8,14, och hela 100% av svaren kunde spåras till källmaterial jämfört med 64% för RAG. Det intressanta är att hur man strukturerar materialet innan frågorna ställs verkar viktigare än hur mycket man hämtar när frågan väl kommer in.