RAG skyddar inte mot minneslöshet – AI-modeller läcker träningsdata ändå

arXiv cs.AI

Forskare har undersökt om så kallad RAG (retrieval-augmented generation, där modellen kompletteras med externt hämtad information) minskar risken att AI-modeller läcker memorerad träningsdata – och svaret är: bara delvis. Studien visar att memorisering har en 'robust kärna' som kvarstår oavsett kontext, och att RAG till och med kan exponera ny data som annars inte skulle ha läckt. Det innebär att säkerhetsanalyser som bara testar modeller utan kontext underskattar den faktiska risken.