SimVerity: Simulerade AI-tester missar var sjätte fel i verkliga smarta hem

arXiv cs.AI

Ett nytt ramverk kallat SimVerity visar att simuleringstester av AI-agenter kan vara kraftigt missvisande — en avancerad simulator godkände alla 240 ljustester, men en kamera fångade 42 fel som tog under en sekund och aldrig syntes i simuleringen. Det intressanta här är att två oberoende simulatorer aldrig var oense med varandra, vilket avslöjar att de delar samma blinda fläckar — bara fysiska mätningar hittade problemen.