Nytt verktyg hjälper utvärderare hålla koll på AI-agenters beteende

arXiv cs.AI

När AI-agenter utför långa, komplexa uppgifter kan deras aktivitetsloggar bli hundratals sidor långa – och då är det lätt att tappa kontrollen över vad som faktiskt hände. Transect är ett nytt öppenkällkodverktyg som strukturerar dessa loggar på en gemensam tidslinje och låter granskare spåra varje beteende tillbaka till källan. I ett testfall analyserades nästan 13 miljoner tokens, vilket avslöjade att agenterna lade mest tid på operativt arbete och manuskriptskrivning – men knappt något på att generera hypoteser, vilket är lite oroande för den som hoppas på AI-driven forskning av hög kvalitet.