Herkese açık ölçüm

Gerçek bellek görevlerinde iki ayrı ölçüm

Engram’ı iki şekilde ölçüyoruz: Önce doğru kanıtı bulabiliyor mu, sonra bir dil modeli bu bağlamdan doğru cevabı üretebiliyor mu?

Kanıt bulma ve cevap doğruluğunu ayrı ayrı gösteriyoruz. İki ölçüm de herkese açık LoCoMo veri setini kullanıyor; bellek döngüsünün farklı aşamalarını değerlendiriyor.

1,536
puanlanmış kanıt bulma sorusu
93.29%
Engram R@50
89.65%
top-50 bağlamla cevap doğruluğu
+8.13pp
R@50’de ikinci sıradaki sisteme fark

LoCoMo kanıt bulma ölçümü

Tam veri seti üzerinde yapılan ölçümün sonuçları herkese açık. Puanlar, gerekli kaynak kanıtlarının getirilen bellek kayıtlarında bulunup bulunmadığını gösterir.

R@50’de ikinciye +8,13 puan farkN=1,536
SistemMRRR@1R@50R@200
Engram0.542740.95%93.29%97.59%
Mem0 OSS0.431431.25%85.16%94.79%
LangMem / LangGraph0.400628.39%83.98%94.53%
AgentMemory0.462735.68%83.33%N/A
Session-file BM250.18589.11%81.90%95.05%
BM250.467636.39%78.19%85.74%

LoCoMo cevap doğruluğu

Her satır, kanıt içeren 1.536 görevin tamamı ve aynı top-50 sınırıyla ölçüldü. Cevapları Codex üretti; ayrı bir değerlendirici bunları kör değerlendirmeyle puanladı. Bu, Engram’ın kendi yürüttüğü bir değerlendirmedir; resmi LoCoMo sıralaması değildir.

N=1,536
SistemDoğru / NTop-50 cevap
Engram1,377 / 1,53689.65%
Mem0 OSS1,294 / 1,53684.24%
AgentMemory1,280 / 1,53683.33%
LangMem / LangGraph1,279 / 1,53683.27%
Session-file BM251,235 / 1,53680.40%
BM251,227 / 1,53679.88%
?

İki tablo nasıl okunmalı?

Yayımlanan iki ölçüm de kanıt içeren 1.536 görevin tamamını kullanır. Kanıt bulma ölçümü kaynak kimliklerini gerektirir. Cevap doğruluğunda sıralamaya giren her sistem için aynı cevap ve değerlendirme modelleri kullanılır. Aynı değerlendirme koşullarını karşılamayan sistemler sıralamaya dahil edilmez, ayrı olarak belgelenir.

İki tablo nasıl okunmalı?

Destek ve geri bildirim

Engram’ı birlikte geliştirelim

Kurulum kafa karıştırıyorsa, bir araç garip davranıyorsa veya plan limitleri uygun görünmüyorsa buradan yaz. Mesaj doğrudan bize gelir.

Geri bildirim

Neyi geliştirelim?

Hatalar, kafa karıştıran kurulum adımları, fiyat soruları ve ürün fikirleri doğrudan Engram ekibine gelir.

Geri bildirimin ekibimize ulaşmadan önce e-postanı doğrula. Bu işlem hesap açmaz.

10 karakter daha gerekli0/4000