Ny metod identifierar exakt vilka ord som skrivits av AI i blandat innehåll
Forskare har utvecklat en metod som kan peka ut enskilda ord (tokens) i en text som troligen genererats av en AI – inte bara avgöra om ett helt dokument är AI-skrivet. Metoden kräver ingen märkt träningsdata och bygger på en teknik som jämnar ut poäng mellan intilliggande ord för att minska brus. Intressant nog finns redan en öppen webbsajt där man kan testa det hela.
Djupdykning
De flesta AI-detektorer jobbar som ett enkelt grönt eller rött ljus – antingen är en text "AI-skriven" eller inte. Det här papperet från akademin attackerar istället ett betydligt knepigare problem: att hitta exakt *var* i ett blandat dokument AI:n tog över pennan, mening för mening, token för token (en "token" är ungefär ett ord eller orddelar, den minsta enhet en språkmodell arbetar med). Metoden är elegant på ett nästan lite tråkigt sätt – den gör inga galna maskininlärningsakrobatik utan lutar sig mot ett klassiskt statistiskt trick kallat Lepski-metoden, som handlar om att välja hur mycket man ska "jämna ut" ett brusigt signal beroende på hur mycket variation som faktiskt finns lokalt i texten. Tänk det som att zooma in eller ut automatiskt beroende på terrängen, istället för att alltid använda samma linsstyrkа. Det som de flesta missar i AI-detektionsdebatten är att det verkliga problemet inte är att identifiera renodlad ChatGPT-text – det är redan hyfsat löst – utan att hantera den grå zonen av mänskligt-AI-samarbete som nu är standard i journalism, akademi och företagskommunikation. En person som använder AI för att polera en slutsats men skriver resten själv skapar precis den typ av dokument den här metoden är byggd för. Akademisk integritetsbranschen och juridiska sektorn, som båda behöver kunna bevisa *var* och *hur mycket* AI bidrog till ett dokument snarare än ett binärt ja/nej, har väldigt lite att jobba med idag – och den här typen av token-nivå-analys pekar mot en framtid där "AI-andel" kan bli ett mätbart och juridiskt relevant begrepp.