LoCoMo 근거 검색
전체 공개 실행입니다. 필요한 원문 근거가 검색된 메모리에 포함되는지 보여줍니다.
공개 벤치마크
Engram 벤치마크 방법론
공개 결과의 근거가 되는 데이터셋, 검색 지표, 답변 평가, 기준선, 한계와 주장 규칙을 확인하세요.
업데이트 4 분 읽기
LoCoMo 근거 검색93.29%
LoCoMo 답변 평가89.65%
작동 방식
LoCoMo 답변 평가
모든 행은 증거가 있는 1,536개 작업 전체와 같은 top-50 기준을 사용합니다. Codex가 답을 생성했고 별도의 블라인드 평가자가 채점했습니다. Engram이 실행한 진단이며 공식 LoCoMo 순위표가 아닙니다.
두 표를 읽는 방법
공개된 두 평가는 증거가 있는 1,536개 작업 전체를 사용합니다. 증거 검색에는 원본 ID가 필요하며 포함된 모든 시스템에 동일한 답변 모델과 판정 모델을 사용합니다. 같은 평가 조건을 충족하지 않는 시스템은 순위에 섞지 않고 별도로 기록합니다.
1,536
채점된 근거 검색 질문
93.29%
Engram R@50
89.65%
top-50 문맥 답변 정확도
AgentMemory는 최대 100개 결과만 반환하므로 R@200은 N/A로 표시합니다. Tenure는 LoCoMo 원본 근거 ID를 보존하지 않아 공개 순위에 포함하지 않으며, 실험 실행은 방법론에 계속 기록합니다.