LoCoMo Evidenz-Retrieval
Vollständiger öffentlicher Lauf. Die Scores zeigen, ob die benötigte Quelle in den abgerufenen Memories erscheint.
Öffentlicher Benchmark
Engram-Benchmarkmethodik
Sehen Sie öffentliche Datensätze, Retrieval-Metriken, Antwortprüfungen, Baselines, Grenzen und Regeln hinter den veröffentlichten Ergebnissen.
Aktualisiert 4 Min. Lesezeit
LoCoMo Evidenz-Retrieval93.29%
LoCoMo Antwortbewertung89.65%
So funktioniert's
LoCoMo Antwortbewertung
Jede Zeile nutzt den vollständigen Satz von 1.536 Aufgaben mit Evidenz und denselben Top-50-Grenzwert. Codex erzeugte die Antworten; ein separater blinder Prüfer bewertete sie. Dies ist eine von Engram durchgeführte Diagnose, keine offizielle LoCoMo-Rangliste.
So lesen Sie die beiden Tabellen
Beide veröffentlichten Auswertungen nutzen alle 1.536 Aufgaben mit Evidenz. Die Evidenzsuche benötigt Quell-IDs; für jedes einbezogene System werden dieselben Antwort- und Bewertungsmodelle verwendet. Systeme, die nicht dasselbe Prüfprotokoll erfüllen, werden separat dokumentiert statt in die Rangliste gemischt.
1,536
bewertete Retrieval-Fragen
93.29%
Engram R@50
89.65%
Antwortgenauigkeit aus Top-50-Kontext
Evidenz-Retrieval und Antwortgenauigkeit bleiben getrennt. Beide nutzen öffentliches LoCoMo, messen aber unterschiedliche Teile der Memory-Schleife.
AgentMemory liefert höchstens 100 Ergebnisse, deshalb wird R@200 als N/A angezeigt. Tenure bewahrt keine LoCoMo-Quellbeleg-IDs auf und wird nicht in die öffentliche Rangliste aufgenommen; der experimentelle Lauf bleibt in der Methodik dokumentiert.
Wir messen Engram zweifach: findet es die richtige Evidenz, und kann ein LLM daraus korrekt antworten?
Evidenz-Retrieval und Antwortgenauigkeit bleiben getrennt. Beide nutzen öffentliches LoCoMo, messen aber unterschiedliche Teile der Memory-Schleife.