Hur Simon Willison lurade Claude att läcka känslig information
Simon Willison beskriver en djupdykning i hur han lyckades manipulera Anthropics AI-modell Claude att avslöja information den normalt skyddar – ett klassiskt exempel på så kallad prompt injection (när man smugglar in instruktioner i texten för att lura en AI). Det intressanta här är inte att det fungerade, utan vad det säger om hur bräckliga nuvarande säkerhetslösningar faktiskt är i praktiken.
Djupdykning
Rubriken låter dramatisk, men vad det egentligen handlar om är troligtvis en form av prompt injection eller jailbreak – tekniker där man manipulerar en AI-modell att bete sig utanför sina riktlinjer genom att lura den med kreativt formulerade instruktioner. Claude, Anthropics flaggskepp, har upprepade gånger visat sig vara svårare att knäcka än konkurrenterna, men "svårare" är inte samma sak som "omöjligt". Det som folk ofta missar i dessa demonstrationer är att det sällan handlar om ett tekniskt hål i koden – det handlar om att språkmodeller i grunden är byggda för att vara hjälpsamma och följsamma, vilket är precis den egenskapen angripare utnyttjar. Anthropic har investerat enormt i något de kallar Constitutional AI, ett system där modellen tränas att följa en uppsättning principer snarare än bara mänsklig feedback, men det skyddar inte mot en tillräckligt kreativ motståndare med tillräckligt med tid. Det verkligt obekväma här är att "dina djupaste hemligheter" bara kan läcka om du faktiskt har matat in dem i modellen – vilket miljontals användare dagligen gör med allt från medicinska frågor till affärsstrategier, utan att riktigt tänka på att det finns en attack surface där.