Från ordpåsar till transformers: en guide till textklassificering med språkmodeller
En djupdykning i hur språkmodeller används för textklassificering – från enkla bag-of-words-metoder (som räknar ordfrekvenser) till moderna transformers som BERT. Guiden går igenom RNN, CNN och transformers med praktiska experiment kring noggrannhet och effektivitet, vilket gör den användbar för den som vill förstå avvägningarna mellan olika arkitekturer.
Djupdykning
Textklassificering – att låta en dator avgöra om ett mejl är spam, om en recension är positiv, eller om en tweet handlar om politik – har gått igenom en häpnadsväckande evolution på bara ett par decennier. Bag-of-words-metoden (tänk: räkna hur många gånger ordet "gratis" dyker upp i ett mejl och döm därefter) ersattes av RNN:er som faktiskt läser text i sekvens som en människa, sedan CNN:er som lånade bildanalysens trick för att hitta mönster i textfragment, och nu dominerar transformers – arkitekturen bakom GPT och BERT – som kan hålla koll på hela kontexten av en mening samtidigt. Det folk missar i den här historien är att "bäst" sällan betyder "rätt": en enkel logistisk regression tränad på ordfrekvenser kan slå ett jättelikt transformer-modell på smal domänspecifik data, och gör det på en bråkdel av beräkningskostnaden. Kalibrering – hur väl en modells säkerhet ("jag är 90% säker") faktiskt stämmer med verkligheten – är ett nästan bortglömt ämne trots att det är avgörande när klassificering används för medicinska diagnoser eller kreditbedömningar. I takt med att företag börjar räkna på energikostnader och latenstider för AI-inferens kommer valet av modellarkitektur att bli lika mycket en ekonomisk fråga som en teknisk.