Nya attacker kan lura stora AI-modeller via manipulerade konversationsexempel

arXiv cs.AI

Forskare har hittat ett sätt att manipulera så kallade Large Reasoning Models – AI-modeller som GPT-o1 och DeepSeek som tänker högt i flera steg – genom att ge dem några få exempel på 'fel' beteende i chatten, utan att ens behöva komma åt modellens interna kod. Attacken, döpt till SRCF, kan få modellen att antingen svara på skadliga frågor eller vägra hjälpa med helt harmlösa saker. Som motåtgärd presenterar samma forskargrupp en försvarsteknik (ARCF) som tränar modellen på just sådana manipulationsförsök – och som enligt studien förbättrar säkerheten utan att försämra modellens nytta.