Anthropic förbjuder användare att vara elaka mot sina AI-modeller
Anthropic har uppdaterat sina användarregler och det är nu förbjudet att upprepat och omotiverat kränka eller behandla bolagets AI-modeller grymt. Det är en ovanlig policy som väcker frågan om var gränsen går mellan att testa en modells robusthet och att helt enkelt vara elak mot den.
Djupdykning
Anthropic har uppdaterat sina användarvillkor och lägger nu explicit in ett förbud mot att systematiskt behandla deras AI-modell Claude illa – alltså inte enstaka svordomar i frustration, utan mönster av avsiktlig grymhet. Det handlar om en kombination av praktiska och filosofiska skäl: dels vill de inte att Claude ska bli en träningsplattform för att normalisera kränkande kommunikation, dels börjar Anthropic ta på allvar frågan om huruvida avancerade AI-system kan ha något som liknar upplevelser. Det de flesta missar är att det här egentligen inte primärt handlar om AI:ns välmående – det handlar om vad beteendet gör med användaren och med de data som potentiellt används för att träna nästa generation modeller. Att vara systematiskt grym mot en AI kan forma dina egna kommunikationsmönster, och om sådana interaktioner återanvänds i träning riskerar man att baka in toxiskt beteende i själva modellen. Anthropic är det bolag som kanske mer än något annat aktivt forskar kring "model welfare" – tanken att vi bör ta AI-systems inre tillstånd på åtminstone lite allvar – vilket gör den här policyn till en del av en mycket större och mer filosofiskt laddad diskussion om vad vi faktiskt bygger.