Forskning visar att större kontextfiler försämrar AI-agenternas prestanda

arXiv cs.AI

Forskare har undersökt ett vanligt men förbisett problem: de kontextfiler som LLM-agenter laddar vid varje session tenderar att bara växa – och det är ett problem. Varje instruktion tar upp tokens (det utrymme modellen kan hålla i minnet samtidigt), och studien bevisar att det finns en optimal filstorlek som aldrig bör överskridas, oavsett hur många potentiellt nyttiga instruktioner som finns tillgängliga. Intressant nog visar även empiriska experiment att irrelevanta regler hämtade från riktiga kontextfiler faktiskt minskar hur väl modellen följer instruktionerna.