Ny metod fångar AI-hallucinationer utan att bromsa systemet

arXiv cs.AI

Forskare har byggt ett kompakt system som kan avgöra om en stor språkmodells svar faktiskt stöds av den text den fick – även när modellen i fråga är sluten och proprietär. Tricket är att återanvända beräkningar som redan görs i det så kallade FlashAttention-steget, vilket gör att hallucinationsdetektorn på ett H100-chip bara tillför 1,4% extra fördröjning vid långa texter (35 000 tokens). En 4-miljarders-parametersmodell som proxy slog nio nollshots-baserade LLM-domare i F1-poäng på två av tre riktmärken – ett ganska snyggt resultat för något så litet.