Récupération de preuves LoCoMo
Run public complet. Les scores indiquent si la preuve source nécessaire apparaît dans les mémoires récupérées.
Benchmark public
Méthodologie des benchmarks Engram
Consultez les jeux publics, métriques de récupération, contrôles de réponse, références, limites et règles derrière les résultats publiés.
Mis à jour 4 min de lecture
Récupération de preuves LoCoMo93.29%
Évaluation des réponses LoCoMo89.65%
Comment ca marche
Évaluation des réponses LoCoMo
Chaque ligne utilise l’ensemble complet de 1 536 tâches avec preuves et la même limite top-50. Codex a généré les réponses et un juge aveugle distinct les a notées. Il s’agit d’un diagnostic mené par Engram, pas d’un classement LoCoMo officiel.
Comment lire les deux tableaux
Les deux évaluations publiées utilisent les 1 536 tâches avec preuves. La recherche exige des identifiants de source et la justesse utilise les mêmes modèles de réponse et d’évaluation pour chaque système inclus. Les systèmes qui ne respectent pas le même protocole sont documentés séparément plutôt que mélangés au classement.
1,536
questions notées en récupération
93.29%
Engram R@50
89.65%
justesse avec contexte top-50
Nous séparons la récupération de preuves et la justesse de réponse. Les deux utilisent LoCoMo public, mais mesurent deux étapes différentes.
AgentMemory renvoie au plus 100 résultats, donc R@200 est affiché comme N/A. Tenure ne conserve pas les identifiants de preuve source de LoCoMo et n’est pas inclus dans le classement public ; son essai expérimental reste documenté dans la méthodologie.
Nous mesurons Engram de deux façons : retrouve-t-il la bonne preuve, puis le modèle répond-il correctement avec ce contexte ?
Nous séparons la récupération de preuves et la justesse de réponse. Les deux utilisent LoCoMo public, mais mesurent deux étapes différentes.