Nytt AI-system lär sig känna sina egna gränser under experiment

arXiv cs.AI

Forskare har byggt en AI-agent kallad LLM-IDEA som automatiskt kör vetenskapliga experiment och – det nya här – kan avgöra om den kört fast för att den saknar förmåga, eller för att problemet helt enkelt inte går att lösa med tillgängliga data. På ett standardtest (ODEBench) var 60 av 62 system möjliga att identifiera, och på ett eget testbord nådde agenten djup vetenskaplig förståelse i 8 av 8 försök mot bara 1 av 8 utan identifiabilitetskontrollen. Det är skillnaden mellan en assistent som kör i cirklar och en som vet när den behöver ställa en ny sorts fråga.