LoCoMo 证据检索
完整公开运行。分数表示所需源证据是否出现在取回的记忆中。
公开基准
Engram 基准测试方法
查看 Engram 已发布结果背后的公开数据集、检索指标、答案检查、基线、限制和声明规则。
更新于 4 分钟阅读
LoCoMo 证据检索93.29%
LoCoMo 答案评测89.65%
工作原理
LoCoMo 答案评测
每一行都使用完整的1,536个有证据任务和相同的top-50上限。Codex生成答案，另一个盲审评估器负责评分。这是Engram执行的诊断，并非官方LoCoMo排行榜。
如何理解两张表
两项公开评估都使用全部1,536个有证据任务。证据检索要求来源ID，所有纳入的系统使用相同的回答模型和评审模型。不满足同一评估协议的系统会单独记录，而不会混入排名。
1,536
已评分的证据检索问题
93.29%
Engram R@50
89.65%
top-50 上下文答案准确率
AgentMemory 最多返回100条结果，所以 R@200 显示为 N/A。Tenure 不保留 LoCoMo 来源证据 ID，因此不纳入公开排名；其实验运行仍记录在方法说明中。