Smartare kunskapsdistillation: ny metod väljer rätt exempel att lära från

arXiv cs.AI

Forskare presenterar RAPID, en metod för att träna mindre AI-modeller (så kallad knowledge distillation) mer effektivt genom att prioritera vilka exempel som är värda att jämföra – istället för att slösa beräkningskraft på alla möjliga par. På textklassificering nådde metoden 94,24% träffsäkerhet mot baslinjen 94,15% på AG News-datasetet, en liten men konsekvent förbättring. Det intressanta är egentligen insikten att 'vad man lär sig av' och 'hur man väljer vad man tittar på' är två separata problem som kan lösas oberoende av varandra.