LoCoMo retrieval доказательств
Полный публичный запуск. Scores показывают, находится ли нужный источник среди retrieved memories.
Публичный benchmark
Методика тестирования Engram
Изучите открытые наборы данных, метрики поиска, проверки ответов, базовые методы, ограничения и правила публикации результатов.
Обновлено 4 мин. чтения
LoCoMo retrieval доказательств93.29%
LoCoMo оценка ответов89.65%
Как это работает
LoCoMo оценка ответов
Каждая строка использует полный набор из 1 536 задач с доказательствами и одинаковый предел top-50. Codex создал ответы, а отдельный слепой судья их оценил. Это диагностика, проведённая Engram, а не официальный рейтинг LoCoMo.
Как читать две таблицы
Обе опубликованные оценки используют все 1 536 задач с доказательствами. Для поиска нужны идентификаторы источников, а для каждого включённого сервиса используются одинаковые модели ответа и оценки. Системы, не соответствующие тому же протоколу, документируются отдельно и не смешиваются с рейтингом.
1,536
оцененных вопросов retrieval
93.29%
Engram R@50
89.65%
точность ответа по top-50 контексту
Retrieval доказательств и точность ответа разделены. Оба теста используют публичный LoCoMo, но измеряют разные части memory loop.
AgentMemory возвращает не более 100 результатов, поэтому R@200 показан как N/A. Tenure не сохраняет идентификаторы исходных доказательств LoCoMo и не включён в публичный рейтинг; экспериментальный запуск остаётся описанным в методологии.
Мы измеряем Engram двумя способами: находит ли он нужное доказательство и может ли LLM правильно ответить по найденному контексту.
Retrieval доказательств и точность ответа разделены. Оба теста используют публичный LoCoMo, но измеряют разные части memory loop.