Nytt system för AI-säkerhet är 19 gånger snabbare än läraren det kopierade

arXiv cs.AI

Forskare har byggt LR-Guard, ett säkerhetssystem för LLM:er (stora språkmodeller) som avgör om ett promptinnehåll är olämpligt – utan att behöva tänka högt varje gång. Tricket är att systemet under träning lär sig komprimerade interna representationer från en långsammare 'lärarmodell', vilket ger 19,4 gånger snabbare inferens samtidigt som det presterar bättre än läraren på de flesta tester. Det intressanta är att systemet ändå kan förklara sina beslut med läsbar text när det behövs – man slipper alltså välja mellan hastighet och transparens.