LoCoMo 证据检索
完整公开运行。分数表示所需源证据是否出现在取回的记忆中。
公开基准
Engram 基准测试方法
查看 Engram 已发布结果背后的公开数据集、检索指标、答案检查、基线、限制和声明规则。
LoCoMo 证据检索92.19%
LoCoMo 答案评测66.33%
工作原理
LoCoMo 答案评测
在同一组 98 个任务上进行 Codex/self-review 诊断。衡量模型基于取回上下文生成的答案是否正确。
如何理解 R@200 和 Top-200
证据检索是累积指标：R@200 包含 R@50 找到的内容以及更多证据，因此不应更低。答案准确率不同。更多上下文也可能带来噪声或冲突记忆；Top-50 有时回答更干净，Top-200 则测试在更多证据下上下文打包是否仍然有用。
1,536
已评分的证据检索问题
92.19%
Engram R@50
66.33%
top-50 上下文答案准确率
证据检索和答案准确率分开展示。两项都使用公开 LoCoMo，但衡量记忆流程的不同环节。
LoCoMo ↗