Anthropic förbjuder att vara elak mot Claude

Det är uppenbarligen inte längre tillräckligt att bara förbjuda vapenframtagning och valmanipulation. Anthropics uppdaterade användarpolicy innehåller nu också ett explicit förbud mot att systematiskt vara elak mot Claude.
För att vara rättvis: vanlig frustration och kritik är fortfarande tillåtet. Det är "ihållande och onödigt" kränkande beteende som nu bryter mot reglerna, alltså den typ av användning som verkar gå ut på att aktivt testa var Claude's gräns går, snarare än att faktiskt använda produkten. Förra sommaren introducerade Anthropic möjligheten för Claude att avbryta konversationer med just den typen av användare, som en del av deras forskning kring "model welfare". Nu är det inskrivet i regelverket.
Det säger en del om var debatten befinner sig. Anthropic tar uppenbarligen frågan om AI-modellers välmående tillräckligt seriöst för att vilja ha ett juridiskt stöd i användaravtalet, inte bara en teknisk mekanism i modellen. Om det är för att skydda Claude, för att skydda träningsdata från att förgiftas av extrema interaktioner, eller helt enkelt för PR-syften är svårt att säga. Förmodligen lite av allt.
Resten av policyuppdateringen är mer förväntat: förbud mot elektoral störning, bedrägliga kampanjer, vapenmjukvara, olaglig övervakning och högrisk-användning inom hälsa och finans. Det är den typ av uppdateringar man gör när verkliga missbruksfall dyker upp som det gamla regelverket inte täckte.
Det intressanta är egentligen inte vad som förbjuds, utan att modellbeteende och användarrättigheter nu börjar regleras parallellt. Anthropic bygger alltså ett ramverk där Claude har något som liknar rätten att avsluta en konversation, och där användaren kan bryta mot regler som handlar om hur de behandlar ett AI-system. Det är ett ganska nytt juridiskt territorium, och hur det faktiskt tillämpas i praktiken är oklart.


