LoCoMo में प्रमाण खोज
पूरा public run। Scores बताते हैं कि जरूरी source evidence retrieved memories में आया या नहीं।
पब्लिक benchmark
Engram benchmark methodology
Engram के published results के पीछे public datasets, retrieval metrics, answer checks, baselines, limitations और claim rules देखें।
अपडेट 4 मिनट पढ़ने का समय
LoCoMo में प्रमाण खोज93.29%
LoCoMo में जवाब की जांच89.65%
कैसे काम करता है
LoCoMo में जवाब की जांच
हर पंक्ति में evidence वाले सभी 1,536 tasks और वही top-50 सीमा है। Codex ने जवाब बनाए और एक अलग blind judge ने उन्हें score किया। यह Engram द्वारा चलाया गया diagnostic है, आधिकारिक LoCoMo leaderboard नहीं।
दोनों तालिकाएँ कैसे पढ़ें
दोनों प्रकाशित evaluations evidence वाले सभी 1,536 tasks पर चलते हैं। Evidence retrieval को source IDs चाहिए और शामिल हर system के लिए वही answer और judge models उपयोग होते हैं। जो system समान evaluation contract पूरा नहीं करते, उन्हें ranking में मिलाने के बजाय अलग दर्ज किया जाता है।
1,536
scored evidence-retrieval questions
93.29%
Engram R@50
89.65%
top-50 context से answer accuracy
Evidence retrieval और answer accuracy अलग रखे गए हैं। दोनों public LoCoMo पर चलते हैं, लेकिन memory loop के अलग हिस्से मापते हैं।
AgentMemory अधिकतम 100 परिणाम लौटाता है, इसलिए R@200 को N/A दिखाया गया है। Tenure LoCoMo स्रोत प्रमाण ID सुरक्षित नहीं रखता, इसलिए उसे सार्वजनिक रैंकिंग में शामिल नहीं किया गया; उसका प्रयोगात्मक रन methodology में दर्ज है।
हम Engram को दो तरीकों से मापते हैं: क्या सही evidence मिलता है, और क्या LLM उस context से सही जवाब दे पाता है।
Evidence retrieval और answer accuracy अलग रखे गए हैं। दोनों public LoCoMo पर चलते हैं, लेकिन memory loop के अलग हिस्से मापते हैं।