Recupero delle evidenze LoCoMo
Esecuzione pubblica completa. I punteggi indicano se le memorie recuperate contengono le evidenze richieste, tratte dalle fonti.
Benchmark pubblico
Metodologia dei benchmark di Engram
Consulta i dataset pubblici, le metriche di recupero delle informazioni, le verifiche delle risposte, i sistemi di riferimento, i limiti e le regole sulle affermazioni pubblicate alla base dei risultati di Engram.
Aggiornato 4 min di lettura
Recupero delle evidenze LoCoMo93.29%
Valutazione delle singole risposte LoCoMo tramite un giudice89.65%
Come funziona
Valutazione delle singole risposte LoCoMo tramite un giudice
Lo stesso insieme completo di 1.536 attività corredate di evidenze e la stessa soglia top-50 per ogni riga. Codex ha generato le risposte e un valutatore separato le ha valutate alla cieca. Si tratta di una valutazione diagnostica condotta da Engram, non di una classifica ufficiale LoCoMo.
Come leggere le due tabelle
Entrambe le valutazioni pubblicate usano tutte le 1.536 attività corredate di evidenze. Il recupero delle evidenze richiede gli ID delle fonti. Per valutare l'accuratezza delle risposte, tutti i sistemi inclusi usano gli stessi modelli per generare e giudicare le risposte. I sistemi che non rispettano gli stessi criteri di valutazione sono documentati separatamente, anziché essere inseriti nella classifica.
1,536
domande valutate sul recupero delle evidenze
93.29%
Engram R@50
89.65%
accuratezza delle risposte con contesto top-50
Valutiamo separatamente il recupero delle informazioni e l'accuratezza delle risposte. Entrambe le valutazioni usano il dataset pubblico LoCoMo, ma misurano fasi diverse del ciclo di memoria.
AgentMemory restituisce al massimo 100 risultati, quindi R@200 è indicato come N/A. Tenure non conserva gli ID delle evidenze nelle fonti LoCoMo e non è incluso nella classifica pubblica; la sua esecuzione sperimentale resta documentata nella metodologia.
Engram viene valutato in due modi: verificando se recupera le evidenze corrette e se un LLM riesce a rispondere correttamente sulla base del contesto recuperato.
Valutiamo separatamente il recupero delle informazioni e l'accuratezza delle risposte. Entrambe le valutazioni usano il dataset pubblico LoCoMo, ma misurano fasi diverse del ciclo di memoria.