የLoCoMo ማስረጃ ፍለጋ
ሙሉ public run። Scores የሚያሳዩት የሚፈለገው source evidence በተመለሱ memories ውስጥ እንዳለ ነው።
የህዝብ benchmark
የEngram መለኪያ ዘዴ
ከታተሙት ውጤቶች በስተጀርባ ያሉትን ክፍት የውሂብ ስብስቦች፣ የፍለጋ መለኪያዎች፣ የመልስ ምርመራዎች፣ መነሻዎች፣ ገደቦች እና የአቤቱታ ደንቦች ይመልከቱ።
ተዘምኗል 4 ደቂቃ ንባብ
የLoCoMo ማስረጃ ፍለጋ93.29%
የLoCoMo መልስ ግምገማ89.65%
እንዴት ይሠራል
የLoCoMo መልስ ግምገማ
እያንዳንዱ ረድፍ ማስረጃ ያላቸውን 1,536 ተግባራት በሙሉ እና ተመሳሳይ top-50 ገደብ ይጠቀማል። Codex መልሶቹን ፈጠረ፣ የተለየ ዓይነ ስውር ገምጋሚም ነጥብ ሰጠ። ይህ በEngram የተካሄደ ምርመራ እንጂ ይፋዊ የLoCoMo ደረጃ አይደለም።
ሁለቱን ሰንጠረዦች እንዴት ማንበብ ይቻላል?
የታተሙት ሁለቱ ግምገማዎች ማስረጃ ያላቸውን 1,536 ተግባራት በሙሉ ይጠቀማሉ። የማስረጃ ፍለጋ የምንጭ መለያዎችን ይፈልጋል፣ እና ለተካተቱት ስርዓቶች ተመሳሳይ የመልስና የዳኝነት ሞዴሎች ይጠቀማሉ። ተመሳሳይ የግምገማ ውል የማያሟሉ ስርዓቶች ከደረጃው ጋር ሳይቀላቀሉ ለብቻቸው ይመዘገባሉ።
1,536
የተመዘኑ evidence-retrieval ጥያቄዎች
93.29%
Engram R@50
89.65%
ከtop-50 context የመልስ ትክክለኛነት
Evidence retrievalን እና answer accuracyን እንለያያለን። ሁለቱም public LoCoMo ይጠቀማሉ፣ ግን የmemory loop የተለያዩ ክፍሎችን ይለካሉ።
AgentMemory እስከ 100 ውጤቶች ብቻ ይመልሳል፣ ስለዚህ R@200 እንደ N/A ይታያል። Tenure የLoCoMo ምንጭ ማስረጃ መለያዎችን ስለማያስቀምጥ በይፋ ደረጃው ውስጥ አይካተትም፤ የሙከራ ውጤቱ በዘዴው ውስጥ ተመዝግቦ ይቆያል።
Engramን በሁለት መንገድ እንለካለን፡ ትክክለኛ evidence ያገኛል? LLM ከዚያ context ትክክለኛ መልስ ይሰጣል?
Evidence retrievalን እና answer accuracyን እንለያያለን። ሁለቱም public LoCoMo ይጠቀማሉ፣ ግን የmemory loop የተለያዩ ክፍሎችን ይለካሉ።