Recuperação de evidências LoCoMo
Execução pública completa. Os scores mostram se a evidência necessária aparece nas memórias recuperadas.
Benchmark público
Metodologia de benchmark do Engram
Veja os conjuntos públicos, métricas de recuperação, testes de resposta, referências, limitações e regras por trás dos resultados publicados.
Atualizado 4 min de leitura
Recuperação de evidências LoCoMo93.29%
Avaliação de resposta LoCoMo89.65%
Como Funciona
Avaliação de resposta LoCoMo
Cada linha usa o conjunto completo de 1.536 tarefas com evidências e o mesmo limite top-50. O Codex gerou as respostas e um avaliador cego separado as pontuou. Este é um diagnóstico executado pela Engram, não um ranking oficial do LoCoMo.
Como ler as duas tabelas
As duas avaliações publicadas usam todas as 1.536 tarefas com evidências. A recuperação exige IDs de origem, e a precisão usa os mesmos modelos de resposta e avaliação para cada sistema incluído. Sistemas que não cumprem o mesmo protocolo são documentados separadamente, em vez de misturados ao ranking.
1,536
perguntas pontuadas de recuperação
93.29%
Engram R@50
89.65%
precisão com contexto top-50
Mantemos recuperação de evidência e precisão da resposta separadas. Ambas usam o LoCoMo público, mas medem partes diferentes do ciclo de memória.
O AgentMemory retorna no máximo 100 resultados, então R@200 aparece como N/A. O Tenure não preserva os IDs de evidência de origem do LoCoMo e não entra no ranking público; sua execução experimental continua documentada na metodologia.
Medimos o Engram de duas formas: se ele recupera a evidência certa e se um LLM responde corretamente com esse contexto.
Mantemos recuperação de evidência e precisão da resposta separadas. Ambas usam o LoCoMo público, mas medem partes diferentes do ciclo de memória.