Recuperación de evidencia LoCoMo
Ejecución pública completa. Las puntuaciones indican si la evidencia necesaria aparece entre las memorias recuperadas.
Benchmark público
Metodología de evaluación de Engram
Consulta los conjuntos públicos, métricas de recuperación, pruebas de respuesta, referencias, límites y reglas de publicación detrás de los resultados de Engram.
Actualizado 4 min de lectura
Recuperación de evidencia LoCoMo93.29%
Evaluación de respuesta LoCoMo89.65%
Cómo funciona
Evaluación de respuesta LoCoMo
Cada fila usa el conjunto completo de 1.536 tareas con evidencia y el mismo límite top-50. Codex generó las respuestas y un evaluador ciego independiente las puntuó. Es un diagnóstico ejecutado por Engram, no una clasificación oficial de LoCoMo.
Cómo leer las dos tablas
Las dos evaluaciones publicadas usan las 1.536 tareas con evidencia. La recuperación exige identificadores de fuente y la precisión de respuesta usa los mismos modelos de respuesta y evaluación para cada sistema incluido. Los sistemas que no cumplen el mismo contrato se documentan aparte en lugar de mezclarse en la clasificación.
1,536
preguntas puntuadas de recuperación
93.29%
Engram R@50
89.65%
precisión con contexto top-50
Separamos recuperación de evidencia y precisión de respuesta. Ambas pruebas usan LoCoMo público, pero miden partes distintas del ciclo de memoria.
AgentMemory devuelve como máximo 100 resultados, así que R@200 aparece como N/A. Tenure no conserva los identificadores de evidencia fuente de LoCoMo y no se incluye en la clasificación pública; su ejecución experimental sigue documentada en la metodología.
Medimos Engram de dos formas: si recupera la evidencia correcta y si un LLM puede responder bien usando ese contexto.
Separamos recuperación de evidencia y precisión de respuesta. Ambas pruebas usan LoCoMo público, pero miden partes distintas del ciclo de memoria.