LoCoMo kanıt bulma
Tam ve herkese açık koşu. Skorlar, gerekli kaynak kanıtın getirilen bellekler içinde yer alıp almadığını gösterir.
Herkese açık ölçüm
Engram değerlendirme yöntemi
Yayımlanan Engram sonuçlarının arkasındaki açık veri kümelerini, bulma ölçümlerini, cevap kontrollerini, taban değerleri, sınırları ve iddia kurallarını inceleyin.
LoCoMo kanıt bulma92.19%
LoCoMo cevap doğruluğu66.33%
Nasıl çalışır
LoCoMo cevap doğruluğu
Aynı 98 görev üzerinde Codex/self-review ile değerlendirildi. Skorlar, getirilen bağlamdan üretilen cevabın doğru olup olmadığını gösterir.
R@200 ve Top-200 nasıl okunmalı?
Kanıt bulma kümülatiftir: R@200, R@50’nin bulduklarının üstüne daha fazla kanıt ekler; bu yüzden daha düşük olmamalıdır. Cevap doğruluğu farklıdır. Daha fazla bağlam doğru kanıtla birlikte gürültü veya çelişkili kayıt da getirebilir; Top-50 bazen daha temiz cevap verir, Top-200 ise çok kanıt gelince paketlemenin hâlâ işe yarayıp yaramadığını ölçer.
1,536
puanlanmış kanıt bulma sorusu
92.19%
Engram R@50
66.33%
top-50 bağlamdan cevap doğruluğu
Kanıt bulma ve cevap doğruluğunu ayrı ayrı gösteriyoruz. İkisi de herkese açık LoCoMo veri setinde koşuyor; bellek döngüsünün farklı yerlerini ölçüyor.
LoCoMo ↗Engramı iki şekilde ölçüyoruz: önce doğru kanıtı buluyor mu, sonra model bu bağlamdan doğru cevabı üretebiliyor mu.
Kanıt bulma ve cevap doğruluğunu ayrı ayrı gösteriyoruz. İkisi de herkese açık LoCoMo veri setinde koşuyor; bellek döngüsünün farklı yerlerini ölçüyor.