استرجاع أدلة LoCoMo
تشغيل عام كامل. توضح الدرجات هل يظهر الدليل المطلوب ضمن الذكريات المسترجعة.
معيار عام
منهجية اختبارات Engram
اطلع على مجموعات البيانات العامة ومقاييس الاسترجاع وفحوص الإجابة وخطوط الأساس والقيود وقواعد الادعاء وراء النتائج المنشورة.
استرجاع أدلة LoCoMo92.19%
تقييم إجابات LoCoMo66.33%
كيف يعمل
تقييم إجابات LoCoMo
تشخيص بمراجعة Codex/self-review على نفس 98 مهمة. يقيس هل الإجابة الناتجة من السياق المسترجع صحيحة.
كيف نقرأ R@200 وTop-200
استرجاع الأدلة تراكمي: R@200 يحتوي ما وجده R@50 وأكثر، لذلك لا يفترض أن يكون أقل. دقة الإجابة مختلفة. المزيد من السياق قد يجلب ضجيجًا أو ذكريات متعارضة؛ Top-50 قد يعطي جوابًا أنظف، وTop-200 يختبر هل يبقى تغليف السياق مفيدًا مع أدلة أكثر.
1,536
أسئلة استرجاع أدلة مقيمة
92.19%
Engram R@50
66.33%
دقة الإجابة من سياق top-50
نفصل بين استرجاع الأدلة ودقة الإجابة. كلاهما يستخدم LoCoMo العام، لكنهما يقيسان مرحلتين مختلفتين من حلقة الذاكرة.
LoCoMo ↗