Herkese açık ölçüm
Gerçek bellek görevlerinde iki ayrı ölçüm
Engram’ı iki şekilde ölçüyoruz: Önce doğru kanıtı bulabiliyor mu, sonra bir dil modeli bu bağlamdan doğru cevabı üretebiliyor mu?
Kanıt bulma ve cevap doğruluğunu ayrı ayrı gösteriyoruz. İki ölçüm de herkese açık LoCoMo veri setini kullanıyor; bellek döngüsünün farklı aşamalarını değerlendiriyor.
LoCoMo kanıt bulma ölçümü
Tam veri seti üzerinde yapılan ölçümün sonuçları herkese açık. Puanlar, gerekli kaynak kanıtlarının getirilen bellek kayıtlarında bulunup bulunmadığını gösterir.
| Sistem | MRR | R@1 | R@50 | R@200 |
|---|---|---|---|---|
| Engram | 0.5427 | 40.95% | 93.29% | 97.59% |
| Mem0 OSS | 0.4314 | 31.25% | 85.16% | 94.79% |
| LangMem / LangGraph | 0.4006 | 28.39% | 83.98% | 94.53% |
| AgentMemory | 0.4627 | 35.68% | 83.33% | N/A |
| Session-file BM25 | 0.1858 | 9.11% | 81.90% | 95.05% |
| BM25 | 0.4676 | 36.39% | 78.19% | 85.74% |
LoCoMo cevap doğruluğu
Her satır, kanıt içeren 1.536 görevin tamamı ve aynı top-50 sınırıyla ölçüldü. Cevapları Codex üretti; ayrı bir değerlendirici bunları kör değerlendirmeyle puanladı. Bu, Engram’ın kendi yürüttüğü bir değerlendirmedir; resmi LoCoMo sıralaması değildir.
| Sistem | Doğru / N | Top-50 cevap |
|---|---|---|
| Engram | 1,377 / 1,536 | 89.65% |
| Mem0 OSS | 1,294 / 1,536 | 84.24% |
| AgentMemory | 1,280 / 1,536 | 83.33% |
| LangMem / LangGraph | 1,279 / 1,536 | 83.27% |
| Session-file BM25 | 1,235 / 1,536 | 80.40% |
| BM25 | 1,227 / 1,536 | 79.88% |
İki tablo nasıl okunmalı?
Yayımlanan iki ölçüm de kanıt içeren 1.536 görevin tamamını kullanır. Kanıt bulma ölçümü kaynak kimliklerini gerektirir. Cevap doğruluğunda sıralamaya giren her sistem için aynı cevap ve değerlendirme modelleri kullanılır. Aynı değerlendirme koşullarını karşılamayan sistemler sıralamaya dahil edilmez, ayrı olarak belgelenir.
İki tablo nasıl okunmalı?