过去两年,「Agent 记忆」是 AI 工程里最拥挤的赛道之一。Mem0、MemOS、MemMachine、Memora、A-MEM、Zep、EverMemOS……每一家的架构图都比上一家更精致:从对话历史里抽取事实、合并同类项、维护图谱、学一个写入策略。默认前提只有一个——原始历史太脏太乱,必须重写成「记忆」才好用。
上周 arXiv 上连着落了几篇论文,把这个前提掀开看了看。结论不太舒服:最朴素的做法赢了,而真正坏掉的是没人测的那部分。
一、什么都不做,反而第一
西安交大的论文标题就是一个问句:《Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought》(arXiv 2610.30755,62 页)。
他们的基线叫 Raw-RAG,做法简单到近乎敷衍:把原始对话按时间戳序列化,切块,做稠密检索加 rerank,把命中的原文直接喂给读者模型。不抽事实、不建结构、不让 LLM 重写历史。
在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 四个基准、七组「基准×读者模型」设置里,Raw-RAG 拿下六组第一,领先最强的 agentic memory 系统 0.13 到 5.53 分。具体到分档:LoCoMo 上用 GPT-4o-mini 读者拿 89.07,对面 MemMachine 是 88.12;换 GPT-4.1-mini 读者是 93.70 对 EverMemOS 的 93.05;LongMemEval 87.53 对 Memora 的 87.40;MemoryAgentBench 差距最大,48.32 对 43.84、53.41 对 47.88。唯一输的一格是 MEME 配 DeepSeek-V4-Flash 读者,输给 MemMachine。
注意 LongMemEval 那 0.13 分——这基本是噪声。论文自己也没把它吹成大胜。如果故事只到这里,那不过是又一篇「简单方法也不差」的平局论文。
真正扎人的是后面三组反证实验。
二、三张账单:写入、机制、时间
第一张账单:写入动作几乎都在空转。 作者去审计了 Mem0 的写决策日志。在 LoCoMo 的 33,902 次写决策里,UPDATE 加 DELETE 只占 4.39%;LongMemEval 的 428,858 次里只占 2.46%。而真正改变了文本内容、或者真的删掉了东西的「有效变更」,只有 1.90% 和 1.34%。
于是他们做了个很直接的替换:把 UPDATE 换成只追加的 ADD,把 DELETE 换成 NONE。LoCoMo 的准确率不降反升,从 67.36% 涨到 69.42%。也就是说,在这套基准上,显式的记忆重写一分精度都没买到。
第二张账单:给 Raw-RAG 加机制,全都掉分。 他们在同一个 MemoryAgentBench 设置下给基线加料:加原子事实抽取,48.32 掉到 28.70(少了 19.62 分);加摘要增强,掉 5.81;加图扩展,掉 5.78。论文对第一个的解释很关键——原子事实抽取把 test-time learning 从 47.68% 打到了 15.37%,因为可用的示范被拆成了互不相干的碎片。
第三张账单:摄取时间差两个数量级。 在同一份 MEME 切片(10 个 episode、110 个问题)上,Raw-RAG 把摄取和检索一起做完是 305.91 秒;而在 BEAM-1M 上,Raw-RAG 的摄取是 0.3 小时,对比记忆系统要 3.2 到 27 小时。
三、为什么原文更强:它保留的是推导路径
论文的证据分析给出了一个我认为最有价值的解释:原始历史覆盖到的「必要证据」更多。而这里的证据不只是那个答案值,还包括推导出答案所需的关系和依赖路径。
举个具体的场景:问「我们上次决定换供应商是什么时候、当时谁反对」。记忆系统存下来的可能是一句「2025 年 3 月换了供应商」。原文里则有前后几轮讨论、谁提了异议、异议后来怎么被处理——答案值相同,但「谁反对」的路径只在原文里。
所以论文写下了那句最狠的话:即使给模型完整访问转换后的记忆库,准确率仍低于直接给原始证据。这个差距不是检索没做好,是写入时就丢了。
换个说法:任何在写入时重写历史的系统,都必须在还不知道未来会问什么的时候,猜一遍未来需要什么。猜错的那些,永久消失。而原始日志从不猜。
四、同一天的三篇:把「简单赢」推成「溯源才是刚需」
如果只有 Raw-RAG,容易得出一个粗鲁的结论——「别搞记忆系统」。但同日上线的另外三篇,把问题指向了一个更准确的位置。
AfterDeleteBench(arXiv 2610.31366)。 它问的是:删掉一条记忆记录之后,那条信息真的没了吗?在 Qwen2.5-7B-Instruct 的主设置里,一条查询就从「已删除」的 Agent 那里恢复了机密,成功率约三分之二;而从未见过这个机密的对照 Agent 是零恢复。更麻烦的是——恢复不需要留下逐字副本,只要分别存储的碎片还在(按公开的组合规则),跨 Qwen、Mistral、Phi-3 的精确重建率是 62% 到 99%。
他们在论文里还提了一句常被忽略的话:响应接口本身也是测量系统的一部分——格式和解析器不对齐时,明明带答案的回复会被记成失败。这提醒所有做评测的人,你测到的「没泄漏」可能只是没问对。
唯一把恢复率压到零的做法叫 provenance-aware closure:删记录的同时,连带删掉所有由它派生出来的东西(摘要、嵌入、笔记)。而只做精确字面过滤,只能挡住「重新写回去」,擦不掉已经在里面的。
有效性位的论文(arXiv 2610.30698)。 它更阴:内容一个字节都不改,只翻「这条记忆还有效吗」的那个标记。在六个 provider、2,080 对匹配故障上,操作上下文被改变的比例是 96.25%;反映到下游,LongMemEval 的二元正确率掉 40.54 分(95% CI 30.32–50.71),Memora 掉 30.60。用 oracle 强制执行有效性,把损失 100% 收了回来。作者自己也说明了:这是 300 组匹配三元组的面板实验,不是线上部署的失败率——但机制成立,一个没人检查的有效性标记,杀伤力比一个弱的检索器更大。
MemPABench(arXiv 2610.30485)。 它测的是另一件事:Agent 知不知道这个人希望被怎么帮。四个用户、14 条交互偏好、99 个会话、跨四个月,每个用户中途改五条偏好。结果是:Mem0、MemOS 和简单 RAG 相对「完全没有记忆」没有提升;只有文件式记忆提升了准确率,但它会把偏好用到不该用的场景;而且即使正确的偏好就摆在上下文里,Agent 也很难盖掉自己的默认习惯。
这篇其实给 Raw-RAG 划了边界——原文检索能赢,是因为任务问的是「事实与关系」;一旦问题变成「这个人怎么被对待」,检索本身不解决问题,那部分能力在模型里。
顺带还有一篇预注册的具身研究(arXiv 2610.30478):把记忆蒸馏进权重只有不显著的 1 分提升,而挂一个冻结的检索缓冲是 34 分。
五、三张账单并起来看
把这五篇放在一张桌子上,会看到同一个判断在三个方向重复出现:
- 精度:重写历史买不到分,原始证据加一个好检索框就够了;
- 合规:删一条记录不等于删一条信息,派生状态会把它带出去;
- 成本:摄取阶段的时间差是一到两个数量级,而这个成本会随语料线性放大。
前两个是「别做多余的」,第三个是「做了还要付利息」。而三者的共同解,都不是更强的压缩算法,而是更清楚的溯源:这条信息从哪来、还准不准、如果源被删了要连带删什么。
记忆创业公司过去两年卖的正是被基准反复投票否掉的那部分——聪明的合并与摘要。而真正没人做、也没人测的,是血缘。
六、如果要落地,我的清单
- 先跑 raw-history 基线。 任何记忆方案上线前,先做「时间戳序列化 + 稠密检索 + rerank」,作为对照组。跑不过这个基线,其余复杂性都是负债。
- 原始日志不要删。 它是唯一不猜的数据源,也是你唯一能验证派生层有没有丢东西的参照。
- 派生记录必须带 provenance 边。 摘要指向原文、嵌入指向块、笔记指向会话。没有这条边,删除请求就只能停在存储层。
- 删除按行为测,不按存储测。 删完之后真去问一遍——用「从未见过」的对照 Agent 作基线,这才叫审计。
- 有效性要有强制执行点。 标记写得再漂亮,没有地方检查就等于没有。用规则或 oracle 在拼上下文的最后一步卡一道。
- 偏好类需求别指望检索。 用户想被怎么对待,属于模型与流程问题,得靠显式的偏好记录加评测,不是让检索器多召几段。
Raw-RAG 的作者自己在论文里写得很克制:结论限于他们测的对话任务,naive RAG 只是「一个必要基线」。这话没错,但基线之所以叫基线,就是因为它不比它低的方案不值得付钱。
参考来源
- arXiv 2610.30755:Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought(西安交大,2026-10-22)https://arxiv.org/abs/2610.30755 ,代码 https://github.com/Litmeb/RAW-RAG
- arXiv 2610.31366:AfterDeleteBench: Auditing Post-Deletion Information Persistence in LLM Agents https://arxiv.org/abs/2610.31366
- arXiv 2610.30698:记忆有效性状态篡改与上下文强制(经 MindPattern 2026-10-23 日报整理)https://mindpattern.ai/blog/2026-10-23
- arXiv 2610.30485:MemPABench(偏好适配基准,同上来源)https://mindpattern.ai/blog/2026-10-23
- arXiv 2610.30478:具身记忆蒸馏与冻结检索缓冲对照研究(同上来源)
- AILog:Naive RAG Wins 6 of 7 Settings Against 12 Memory Systems https://www.aimodeling.com/en/news/slug/naive-rag-beats-complex-agentic-memory
- Clauday:Four memory papers in one day: plain retrieval wins, and delete doesn't delete https://clauday.com/article/9c0a47bb-ab35-4a8c-a83a-f713e251fa56

评论(0)
暂无评论,来抢沙发~
请 登录 后发表评论