Nytt ramverk ska göra AI-kompisar tryggare i långa konversationer

arXiv cs.AI

Forskare har byggt CompanionSafe, ett system för att utvärdera och begränsa säkerhetsrisker i AI-sällskapsappar – alltså appar där man bygger relationer med en AI över tid. Testerna, som täcker 1 300 olika scenarion, visar att även starka språkmodeller och befintliga säkerhetsfilter har svårt att hantera relationella skador, och att riskerna ökar ju längre en konversation pågår. Det är en intressant påminnelse om att säkerhetsproblem inte alltid syns i enstaka meddelanden utan kan smyga sig in gradvis.