Ny benchmark avslöjar att AI-modeller ofta missar när delning av personuppgifter faktiskt är okej
Forskare har skapat ConCI, ett testramverk med 1 592 scenarion som mäter om språkmodeller (LLMs) verkligen förstår *varför* det är okej eller inte okej att dela personlig information – inte bara om det känns fel. Resultaten är tänkvärda: även den bästa modellen gör fel på ungefär en femtedel av fallen, och modellerna är generellt bra på att säga nej men dåliga på att säga ja när sammanhanget faktiskt motiverar det. Större modeller minskar den här snedvridningen mot att hålla inne information, men löser den inte.
Djupdykning
LLM:ar är förvånansvärt dåliga på att förstå att kontexten avgör om det är okej att dela information – inte informationen i sig. Tänk på det så här: att berätta för din läkare om dina symtom är helt okej, men att samma information dyker upp i ett jobbsammanhang är en integritetskränkning. Det är det som kallas contextual integrity, ett ramverk från filosofen Helen Nissenbaum. Problemet som forskarna bakom ConCI hittat är att tidigare tester inte kan skilja på om en modell faktiskt förstår denna kontextkänslighet, eller om den bara reflexmässigt svarar "nej, dela inte" och råkar ha rätt. Det de flesta missar här är att detta avslöjar en systematisk asymmetri: modellerna är bra på att flagga olämpliga informationsflöden, men klantar sig när de ska godkänna ett lämpligt flöde. De är med andra ord överkänsliga åt det hållet som ger minst PR-skada. Det är inte en bugg som råkat slinka igenom – det är troligen ett resultat av hur modellerna tränats och finjusterats med mänsklig feedback, där "säg nej" sällan straffas lika hårt som ett felaktigt "ja". Större modeller blir lite bättre, men eliminerar inte bias, vilket antyder att problemet sitter djupare än i ren kapacitet.