AI-detektorer kan paradoxalt nog öka användningen av AI-genererat innehåll
Ny forskning visar att verktyg som försöker upptäcka AI-skriven text kan ge rakt motsatt effekt: när användare vet att de övervakas anpassar de sitt beteende strategiskt, vilket faktiskt ökar deras LLM-användning och i vissa fall försämrar textkvaliteten. Forskarna byggde en modell för hur användare rationellt väljer att dölja AI-spår, och bekräftade ett tydligt mönster i verkliga arXiv-abstrakt – det som mäts påverkas alltså av själva mätningen, ett klassiskt goodhartproblem (när ett mått blir ett mål slutar det vara ett bra mått).
Djupdykning
Forskarnas poäng är enkel men elegant: när du sätter upp en detektor förändrar du beteendet hos dem som vet att de övervakas, och det på sätt som ingen riktigt tänkt igenom. Tänk dig en student som vet att universitetet kör AI-detektorn Turnitin – hen slutar inte använda ChatGPT, hen lär sig istället att parafrasera bättre, byta ut ord, eller mixar egna meningar med AI-genererade. Resultatet? Mer AI-användning, inte mindre, och ofta sämre slutprodukt eftersom energin går åt till att lura detektorn snarare än att faktiskt tänka. Det "rise-then-fall"-mönster de hittar i arXiv-abstrakt (det vill säga att vissa ord exploderar i frekvens när AI sprids men sedan faller när folk börjar dölja spåren) är ett fingeravtryck av exakt det här beteendet i realtid. Det de flesta missar är att AI-detektorer bygger på en implicit antagning om passiva användare, men människor är strategiska – vi anpassar oss till regler ungefär som vatten hittar runt ett hinder. Politiken som ska bromsa AI-användning kan alltså paradoxalt accelerera den, och göra den svårare att se.