Studie visar systematisk bias i Googles Gemini 1.5 Flash för rekommendationssystem
Forskare har upptäckt att Google DeepMinds Gemini 1.5 Flash uppvisar systematisk orättvisa för vissa demografiska attribut i rekommendationssystem, med uppmätta skillnader på SNSR 0,1363 och SNSV 0,0507. Studien analyserade åtta demografiska attribut över 31 kategoriska värden inom film- och musikdomänerna. Problemen kvarstår även vid störningar som stavfel och flerspråkiga inmatningar.
Djupdykning
Denna forskning blottlägger kritiska svagheter i hur stora språkmodeller som Googles Gemini fungerar inom rekommendationssystem, där systematisk orättvisa mot vissa demografiska grupper uppmätts med konkreta värden. Studien visar att dessa AI-system inte bara ger opålitliga rekommendationer på grund av osäkerhet i sina förutsägelser, utan också reproducerar samhälleliga fördomar på ett mätbart sätt - ett problem som kvarstår även när man testar systemet med felskrivningar eller på olika språk. För svenska techföretag som utvecklar eller använder AI-rekommendationer blir detta särskilt relevant i ljuset av EU:s AI Act, som kräver att högrisksystem för AI uppfyller strikta krav på rättvisa och transparens. Forskningen introducerar nya metoder för att mäta både osäkerhet och rättvisa samtidigt, vilket ger utvecklare verktyg att identifiera och åtgärda dessa problem innan system når slutanvändare. Nyckelinsikt: AI-rekommendationer kräver systematisk testning av både teknisk precision och etisk rättvisa för att uppfylla framtidens regulatoriska krav och användarförtroende.