Hur prompt-formulering påverkar LLM:ers dataanalys – faktafel eller bara tonläge?

arXiv cs.AI

Forskare testade om olika typer av instruktionstoner i promptar får stora språkmodeller att inte bara ändra tonläge utan även faktainnehållet i statistisk analys. Resultaten från 480 testsvar är tydliga: vid aggressivt kritisk formulering rapporterade modellen felaktigt slutsatser i 97% av fallen för genuina effekter, och vid 'hitta-signifikans'-instruktioner överdrev den säkerheten i 100% av fallen för svagt underbyggda nollresultat. Det intressanta är att modellen ofta håller kvar rätt slutsats men sveper in den i ett helt annat tonläge – vilket väcker frågan om det är nog att lita på vad AI säger, eller om man även behöver granska hur det säger det.