Tokenmaxxing – när mätningen av AI hamnar snett
Stora företag som Disney och Amazon har skapat rankingtoppar för AI-användning som lett till "tokenmaxxing" – anställda maximerar sin tokenanvändning för att vinna tävlingen snarare än för att bli produktiva. En Disney-anställd interagerade med Claude AI 460 000 gånger på nio dagar, vilket visar hur enkla användningsmått kan skapa fel incitament och enorma kostnader.
Djupdykning
När företag försöker mäta AI-framgång genom tokens - de små dataenheter som AI-modeller konsumerar - hamnar de i samma fälla som när mjukvaruföretag en gång mätte utvecklares produktivitet genom antal kodrader. Disney-anställda som spammar Claude AI 460 000 gånger på nio dagar eller arbetare som bränner miljontals dollar i tokens för att toppa företagsrankingar visar hur mätningen blivit målet i sig. Det här är klassisk Goodharts lag i praktiken: när ett mått blir mål slutar det vara ett bra mått. IT-chefer fastnar mellan två stolar - de behöver visa att deras dyra AI-investeringar faktiskt används, men saknar ofta verktyg för att mäta den riktiga produktivitetsökningen. Tokens är lockande eftersom de är lätta att räkna, men de säger inget om kvaliteten på interaktionen eller om användaren faktiskt blir mer produktiv. Det är som att mäta en kocks skicklighet genom att räkna ingredienser istället för att smaka maten. Paradoxalt nog riskerar företagen att skapa en generation medarbetare som lär sig att använda AI ineffektivt från första dagen - precis motsatsen till vad de vill uppnå.