Benchmark pubblico
Misurato su attività di memoria reali con due controlli
Engram viene valutato in due modi: verificando se recupera le evidenze corrette e se un LLM riesce a rispondere correttamente sulla base del contesto recuperato.
Valutiamo separatamente il recupero delle informazioni e l'accuratezza delle risposte. Entrambe le valutazioni usano il dataset pubblico LoCoMo, ma misurano fasi diverse del ciclo di memoria.
Recupero delle evidenze LoCoMo
Esecuzione pubblica completa. I punteggi indicano se le memorie recuperate contengono le evidenze richieste, tratte dalle fonti.
| Sistema | MRR | R@1 | R@50 | R@200 |
|---|---|---|---|---|
| Engram | 0.5427 | 40.95% | 93.29% | 97.59% |
| Mem0 OSS | 0.4314 | 31.25% | 85.16% | 94.79% |
| LangMem / LangGraph | 0.4006 | 28.39% | 83.98% | 94.53% |
| AgentMemory | 0.4627 | 35.68% | 83.33% | N/A |
| Session-file BM25 | 0.1858 | 9.11% | 81.90% | 95.05% |
| BM25 | 0.4676 | 36.39% | 78.19% | 85.74% |
Valutazione delle singole risposte LoCoMo tramite un giudice
Lo stesso insieme completo di 1.536 attività corredate di evidenze e la stessa soglia top-50 per ogni riga. Codex ha generato le risposte e un valutatore separato le ha valutate alla cieca. Si tratta di una valutazione diagnostica condotta da Engram, non di una classifica ufficiale LoCoMo.
| Sistema | Risposte corrette / N | Risposta Top-50 |
|---|---|---|
| Engram | 1,377 / 1,536 | 89.65% |
| Mem0 OSS | 1,294 / 1,536 | 84.24% |
| AgentMemory | 1,280 / 1,536 | 83.33% |
| LangMem / LangGraph | 1,279 / 1,536 | 83.27% |
| Session-file BM25 | 1,235 / 1,536 | 80.40% |
| BM25 | 1,227 / 1,536 | 79.88% |
Come leggere le due tabelle
Entrambe le valutazioni pubblicate usano tutte le 1.536 attività corredate di evidenze. Il recupero delle evidenze richiede gli ID delle fonti. Per valutare l'accuratezza delle risposte, tutti i sistemi inclusi usano gli stessi modelli per generare e giudicare le risposte. I sistemi che non rispettano gli stessi criteri di valutazione sono documentati separatamente, anziché essere inseriti nella classifica.
Come leggere le due tabelle