LoCoMo 証拠検索
公開データでのフル実行。必要な証拠が取得された記憶に含まれるかを示します。
公開ベンチマーク
Engram ベンチマーク手法
公開結果の根拠となるデータセット、検索指標、回答評価、ベースライン、制約、主張ルールを確認できます。
更新日 4 分で読めます
LoCoMo 証拠検索93.29%
LoCoMo 回答評価89.65%
仕組み
LoCoMo 回答評価
全行で証拠のある1,536タスクすべてと同じtop-50上限を使いました。Codexが回答を生成し、別のブラインド判定者が採点しました。これはEngramが実施した診断であり、公式LoCoMoランキングではありません。
2つの表の読み方
公開する2つの評価はいずれも証拠のある1,536タスクすべてを使います。証拠検索にはソースIDが必要で、含まれる各システムには同じ回答モデルと判定モデルを使います。同じ評価条件を満たさないシステムはランキングに混ぜず、別途記録します。
1,536
採点済み証拠検索質問
93.29%
Engram R@50
89.65%
top-50文脈での回答精度
AgentMemory は最大100件までしか返さないため、R@200 は N/A と表示しています。Tenure は LoCoMo の根拠 ID を保持しないため公開ランキングには含めず、実験結果は方法論に記録しています。