Nytt verktyg testar om AI-rekrytering diskriminerar – utan dyra manuella revisioner
Forskare har tagit fram en metod för att automatiskt testa om AI-baserade rekryteringssystem (så kallade ATS) behandlar kandidater olika beroende på kön, ålder, bostadsort, språk eller funktionsnedsättning – utan att behöva skapa CV:n för hand. Systemet använder LLM-agenter för att generera testprofiler och mäter sedan bias med nio olika mätvärden; i ett test på 100 kandidater och fem jobbordrar klarade sig de flesta kategorier bra, men två mätvärden flaggade för gränsfall som ett enklare test skulle ha missat. Det är en påminnelse om att ett enda sammanfattande rättvisemått sällan räcker – särskilt när EU:s AI-förordning nu klassificerar rekryteringsverktyg som högrisk-AI.
Djupdykning
När ett företag köper ett ATS (Application Tracking System, alltså de system som automatiskt granskar och rankar jobbansökningar innan en enda människa ens sett ditt CV) vet de sällan om systemet diskriminerar baserat på kön, ålder eller funktionsvariation. Traditionell revision av sådan bias är löjligt dyr: du behöver manuellt skapa hundratals fejk-CV:n och skicka in dem, och när systemet sedan uppdateras måste hela processen göras om. Den här studien bygger en pipeline där LLM-agenter automatiskt genererar neutrala bas-CV:n, injicerar demografiska variationer längs fem axlar, och sedan mäter nio olika biasmått med statistisk korrekturfaktor (Benjamini-Hochberg-korrektion är ett sätt att undvika falska larm när man testar många saker samtidigt). Det de flesta missar här är att resultaten visade grönt på alla uppenbara mått, alltså poängskillnader och om kandidaterna håller sig i topp-listan, men att ett mer subtilt rankingstabilitetsmått (MARC) flaggade problem som aldrig hade synts annars. Det innebär att de flesta ATS-leverantörer idag tekniskt kan visa upp ett bias-intyg som ändå döljer systematiska orättvisor, för de mäter helt enkelt inte tillräckligt många saker. EU AI Act klassificerar just rekryteringssystem som högrisk-AI med kommande revisionskrav, och den här metoden är ett seriöst argument för att ett enda aggregerat poängmått aldrig borde räcka som godkänt underlag.