Utafutaji wa ushahidi wa LoCoMo
Run kamili ya wazi. Scores zinaonyesha kama source evidence inayohitajika ipo ndani ya memories zilizorejeshwa.
Benchmark ya wazi
Mbinu ya vipimo vya Engram
Tazama data za wazi, vipimo vya urejeshaji, ukaguzi wa majibu, viwango vya msingi, mipaka na kanuni za madai nyuma ya matokeo yaliyochapishwa.
Imesasishwa 4 dakika za kusoma
Utafutaji wa ushahidi wa LoCoMo93.29%
Ukaguzi wa majibu wa LoCoMo89.65%
Inavyofanya Kazi
Ukaguzi wa majibu wa LoCoMo
Kila mstari unatumia kazi zote 1,536 zenye ushahidi na kikomo kilekile cha top-50. Codex ilitengeneza majibu na mkaguzi tofauti asiyejua mfumo akayapima. Huu ni uchunguzi ulioendeshwa na Engram, si orodha rasmi ya LoCoMo.
Jinsi ya kusoma majedwali mawili
Vipimo viwili vilivyochapishwa hutumia kazi zote 1,536 zenye ushahidi. Urejeshaji unahitaji vitambulisho vya chanzo, na modeli zilezile za majibu na tathmini hutumiwa kwa kila mfumo uliojumuishwa. Mifumo isiyotimiza masharti sawa huandikwa kando badala ya kuchanganywa kwenye orodha.
1,536
maswali yaliyopimwa ya evidence retrieval
93.29%
Engram R@50
89.65%
usahihi wa jibu kutoka top-50 context
Tunatenganisha evidence retrieval na usahihi wa jibu. Zote zinatumia LoCoMo ya wazi, lakini hupima sehemu tofauti za memory loop.
AgentMemory hurejesha hadi matokeo 100 tu, hivyo R@200 inaonyeshwa kama N/A. Tenure haihifadhi vitambulisho vya ushahidi wa chanzo vya LoCoMo, kwa hiyo haijumuishwi kwenye orodha ya umma; jaribio lake linaendelea kuandikwa katika mbinu.
Tunapima Engram kwa njia mbili: kama inapata evidence sahihi, na kama LLM inaweza kujibu kwa usahihi kutoka kwenye context hiyo.
Tunatenganisha evidence retrieval na usahihi wa jibu. Zote zinatumia LoCoMo ya wazi, lakini hupima sehemu tofauti za memory loop.