2026 年 10 月挂上 arXiv 的 MemT-1.0（arXiv:2610.26825，66 页长文）把一件事情从提示词搬进了模型内部：所谓长期记忆，不再是对话历史里的一段文本，而是前向传播中一块固定大小的矩阵状态。标题里那个抓眼球的"33 倍"并不是一项压缩技术，只是一道除法的结果——把这笔账算清楚，才知道它能主张什么、不能主张什么。
分子固定，分母在涨
分子是记忆状态本身。以 Nano 版（基于 Qwen3.6-35B-A3B，36B 总参 / 3B 激活）为例：10 个全注意力层 × 16 个通道 × 256 × 256，约 1050 万个元素，FP32 存储约 40 MiB。关键性质是这块状态与历史长度无关——聊一天和聊一年，占用一样。
分母是完整上下文方案的 KV cache，随 token 数线性增长。40 MiB 除以不断变长的分母，就得到那串倍数：64K 历史对应约 1.3 GiB KV，压缩比 33 倍；128K 对应 2.6 GiB，66 倍；256K 对应 5.1 GiB，约 130 倍。倍数几乎严格随长度翻倍——不是压得越来越狠，是分母在长大。反推可知 KV 侧约 20 KiB/token，这个数受层数、KV 头数与精度共同影响，公开材料里未给出完整配置，只能当作推算值而非独立测量。
三个必须随身携带的前提：这 40 MiB 不含模型本体权重和当前轮的 KV；它是每条轨迹的占用，一万个并发会话就是 400 GiB，规模化时总量照样线性涨；交互期间记忆参数冻结，不存在"聊天时偷偷自我微调"。
读与写：成本为什么不随历史变长
每个记忆块分两半。Local Memory Block 是那块动态矩阵，新会话从零初始化，一轮轮演化。Hyper Memory Block 是训练好的参数：记忆 q/k/v 投影加上擦除门、写入门、遗忘门。
读通路在生成时用记忆 query 从状态矩阵读出，与主干注意力输出拼接——读取成本与历史长度无关，这就是它首字延迟能压平的原因（官方报告 256K 上下文下 104 到 112 毫秒，完整上下文方案约 445 毫秒）。
写通路用 GDN-2（Gated DeltaNet-2，NVIDIA 线性注意力工作）逐 token 更新状态。相比上一代把"擦多少"和"写多少"共用一个标量门，GDN-2 拆成两个通道级门：key 轴选择擦除哪些坐标，value 轴选择提交哪些。"展览改到周日"这类覆盖式修正，本质是同一坐标上先擦旧值再写新值——加性写入只会叠加，这正是 delta rule 的价值。工程上更值得注意的是稳定性：更新式里的擦除项只会把状态往小调，连写几万 token 也不会数值发散。
消融数据推翻了两个直觉
论文的消融实验里藏着两个反直觉结论。第一，把 token 级更新放宽成轮次级，11 项基准均分从 46.97 掉到 40.98；但把稳定化机制整个去掉，分数只掉到 46.43——更新粒度比数值稳定更值钱，和不少二手解读的印象相反。第二，训练量是 34B token（20B 继续预训练加 14B 后训练），后训练拿掉平均掉 10.7 分。换句话说，把一块没训练过的记忆缓冲插进现成模型，得不到可靠的回忆能力。
Mixture-of-Storage 的路由设计同样反直觉：不走稀疏激活，所有记忆专家全部参与、只是权重不同。理由是失效模式不同——MoE 稀疏为省算力，记忆路由学偏就是"该记的没记、该取的没取"的硬伤，稠密路由用算力换召回覆盖。峰值显存靠窗口化执行压：32K 打包时物化峰值 47.83 GiB，改两窗口降到 9.49 GiB，时间只多 1.6%。
赢在哪一格，输在要证据的地方
11 项记忆基准上，它稳坐参数记忆类前二（Flash 50.6、Nano 47.0），但放在全体里仍落后检索类和全上下文方案（MemOS 68.6、完整上下文 65 到 66.3）。差距集中在细节证据题：LongMemEval-S 上 37.2 对 MemOS 的 83.2。压缩的代价在此一目了然——要逐字引用、要合规删除、要审计溯源的场景，别用它。
最有说服力的落地证据是 Agent 经验复用：从 4 万多条成功轨迹归纳出 1040 条可复用经验，不塞提示词、而是前向写进记忆，SWE-bench Verified 三次全通过率从 54.0% 升到 62.8%。提升幅度不算惊人，价值在于同等效果下不占上下文，且重复运行更稳。
选型结论可以很短：高频长会话、要压首字延迟、要跨任务复用操作经验，值得试；历史短于 32K 的场景直接放弃——官方自己承认这个长度以下基本打平甚至更慢，写记忆本身要花算力。部署走 SGLang，仓库提供双卡启动脚本，记忆快照落盘目录记得提前建好并授权，否则首次会话结束写快照时会报权限错误——这是实际部署里最常见的第一个坎。
sh start_memt_nano.sh /models/MemT-1.0-Nano
买"查询成本与历史长度解耦"这个能力，付的账是有损压缩和不可解释。这笔交易划不划算，取决于你的场景里，"记住大意"和"逐字可查"哪个更贵。
评论0