استرجاع أدلة LoCoMo
تشغيل عام كامل. توضح الدرجات هل يظهر الدليل المطلوب ضمن الذكريات المسترجعة.
معيار عام
منهجية اختبارات Engram
اطلع على مجموعات البيانات العامة ومقاييس الاسترجاع وفحوص الإجابة وخطوط الأساس والقيود وقواعد الادعاء وراء النتائج المنشورة.
آخر تحديث 4 دقائق للقراءة
استرجاع أدلة LoCoMo93.29%
تقييم إجابات LoCoMo89.65%
كيف يعمل
تقييم إجابات LoCoMo
يستخدم كل صف المجموعة الكاملة من 1,536 مهمة ذات أدلة وحد top-50 نفسه. أنشأ Codex الإجابات وقيّمها حكم منفصل لا يرى اسم النظام. هذا تشخيص أجرته Engram، وليس ترتيب LoCoMo رسميًا.
كيف نقرأ الجدولين
يستخدم التقييمان المنشوران جميع المهام ذات الأدلة البالغ عددها 1,536. يتطلب استرجاع الأدلة معرّفات المصدر، وتستخدم جميع الأنظمة المدرجة نماذج الإجابة والتحكيم نفسها. الأنظمة التي لا تحقق عقد التقييم نفسه توثق منفصلة ولا تخلط بالتصنيف.
1,536
أسئلة استرجاع أدلة مقيمة
93.29%
Engram R@50
89.65%
دقة الإجابة من سياق top-50
نفصل بين استرجاع الأدلة ودقة الإجابة. كلاهما يستخدم LoCoMo العام، لكنهما يقيسان مرحلتين مختلفتين من حلقة الذاكرة.
يعيد AgentMemory بحد أقصى 100 نتيجة، لذا تظهر R@200 كشرطة N/A. لا يحتفظ Tenure بمعرّفات أدلة المصدر في LoCoMo، لذلك لا يدخل التصنيف العام؛ وتبقى تجربته موثقة في المنهجية.