LoCoMo kanıt bulma
Tam ve herkese açık koşu. Skorlar, gerekli kaynak kanıtın getirilen bellekler içinde yer alıp almadığını gösterir.
Herkese açık ölçüm
Engram değerlendirme yöntemi
Yayımlanan Engram sonuçlarının arkasındaki açık veri kümelerini, bulma ölçümlerini, cevap kontrollerini, taban değerleri, sınırları ve iddia kurallarını inceleyin.
Güncellendi 4 dk okuma
LoCoMo kanıt bulma93.29%
LoCoMo cevap doğruluğu89.65%
Nasıl çalışır
LoCoMo cevap doğruluğu
Her satır, kanıtı bulunan 1.536 görevin tamamı ve aynı top-50 sınırıyla ölçüldü. Cevapları Codex üretti; ayrı ve kör bir hakem puanladı. Bu, Engram tarafından yürütülen bir ölçümdür; resmi LoCoMo sıralaması değildir.
İki tablo nasıl okunmalı?
Yayınlanan iki ölçüm de kanıtı bulunan 1.536 görevin tamamını kullanır. Kanıt bulma kaynak kimliklerini gerektirir; cevap doğruluğunda sıralamaya giren her sistem için aynı cevap ve hakem modelleri kullanılır. Aynı değerlendirme sözleşmesini karşılamayan sistemler sıralamaya karıştırılmaz, ayrı olarak belgelenir.
1,536
puanlanmış kanıt bulma sorusu
93.29%
Engram R@50
89.65%
top-50 bağlamdan cevap doğruluğu
Kanıt bulma ve cevap doğruluğunu ayrı ayrı gösteriyoruz. İkisi de herkese açık LoCoMo veri setinde koşuyor; bellek döngüsünün farklı yerlerini ölçüyor.
AgentMemory en fazla 100 sonuç döndürüyor; bu nedenle R@200 N/A olarak gösteriliyor. Tenure LoCoMo kaynak kanıt kimliklerini korumadığı için açık sıralamaya alınmıyor; deneysel koşusu metodolojide belgelenmeye devam ediyor.
Engramı iki şekilde ölçüyoruz: önce doğru kanıtı buluyor mu, sonra model bu bağlamdan doğru cevabı üretebiliyor mu.
Kanıt bulma ve cevap doğruluğunu ayrı ayrı gösteriyoruz. İkisi de herkese açık LoCoMo veri setinde koşuyor; bellek döngüsünün farklı yerlerini ölçüyor.