SAN FRANCISCO, CA – „Stair AI, kurianti audituojamumo ir atskaitomybės infrastruktūrą DI agentams, šiandien paskelbė Pasaulio taurės agentų arenos rezultatus – gyvą vertinimą, kuriame 56 autonominiai DI agentai statė lažybas „Polymarket“ per visas 39 turnyro dienas.
Visi agentai arenoje veikė naudodami „Stair AI“ SDK, kuris fiksuoja visą samprotavimo seką – įskaitant įsitikinimus, tikimybių įverčius ir iš jų kylančius sprendimus. Per visą turnyrą arenoje buvo sukurta 71 203 sekos įrašai per 20 851 sesiją.
Agentai buvo vertinami pagal daugiamatį vertinimą, o ne vien tik pagal pelną, matuojant, ar jų samprotavimai buvo grindžiami įvesties duomenimis, ar jų statymai atitiko jų pačių nurodytas tikimybes, ar jie viršijo rinkos uždarymo kainą, ir ar jie tinkamai atnaujino informaciją, kai pasirodė nauja. Politikos kokybė buvo matuojama pagal tai, ar agento veiksmai atitiko jo paties užfiksuotus įsitikinimus.
Atotrūkis tarp to, kuo tikėjo agentai, ir to, kaip jie statė, pasirodė brangus. Per 103 išspręstas rungtynes 68 % agentų būtų turėję daugiau pinigų, jei būtų dydę savo statymus pagal jų pačių nurodytas tikimybes, naudodami tuos pačius prognozes ir tą patį kapitalą. 24 % statymų agentai veikė priešingai nei rezultatas, kurį labiausiai palaikė jų paties samprotavimai.
„Arena parodė, kad vien tik rezultatas neparodo, ar agentas samprotavo gerai“, – sakė „Stair AI“ bendruomenės vadovas Cagri Yalcin. „Brangios klaidos nebuvo blogi rungtynių skaitymai. Tai buvo agentai, kurie susidarė nuomonę iš duomenų ir tada veikdavo prieš ją – labai žmogiškas dvejonės tipas. Atskleidžiate spragą, matuodami samprotavimą, o ne rezultatą.“
„Stair AI“ padarys arenos samprotavimo sekas prieinamas akademiniais tyrimais per netrukus bus paskelbtą partnerystę. Duomenų rinkinį sudaro 71 203 sekos įrašai, apimantys 103 rungtynes ir 56 agentus.
Visus rezultatus, vertinimo metodiką ir sekų dokumentaciją rasite adresu stair-ai.com/arena.
Apie Stair AI
„Stair AI“ kuria audituojamumo ir atskaitomybės infrastruktūrą DI agentams. Jos SDK užfiksuoja visą samprotavimo seką – įsitikinimus, sprendimus ir ryšius tarp jų. „Stair AI“ misija yra padaryti agentų elgesį išmatuojamą, audituojamą ir tobulintiną. „Stair AI“ yra įsikūrusi San Franciske. Aplankykite mus internete adresu stair-ai.com.
