标准智能体的每一步思考都要写成文本 token：解码一次、再嵌回输入一次。斯坦福等机构发布的 HybridAgent（arXiv:2610.18861）换了条路：把中间推理搬进连续隐状态，只在调工具、需要人看、交付答案时才回到文本模式。论文在 Qwen3-Base 4B/8B/14B 三个尺度、11 个基准上报告平均 10.4% 的正确率提升，暴露 token 减少 35% 到 55%，推理加速 1.8 到 2.6 倍。数字之外，落地代价更值得工程团队看清。
机制：两个模式，一个生成流
模型没有引入新架构，只在标准 Transformer 的自回归循环上加了换挡部件。文本模式正常采样，一旦吐出特殊标记，下一步就绕过语言模型头和词嵌入，改由 HybridLink 把隐状态送回输入。关键在分布对齐——早期潜推理工作直接把最后一层隐状态当输入嵌入，而隐状态与预训练输入嵌入不在同一分布，模式来回切换时表示空间会错位。HybridLink 用两层残差投影补差：
e_{t+1} = h_t + W2 · GELU(W1 · h_t)
参数量约为隐状态维数平方的两倍，4B 骨干上约千万级，残差保语义、适配器只对齐分布差。潜模式没有预设步数，退出条件是隐状态语义靠近退出锚点。工具调用仍在文本模式发起，每条轨迹上限 10 次——"动手时才出字"的字面含义就是工具调用和最终答案必须走离散 token。
工作记忆是另一处关键设计：整条混合轨迹原样追加进下一轮输入，靠 KV 缓存保存。论文证明了连续工作记忆可以不把潜思考转成文本而保留完整潜历史——工具调用打断思考不丢状态，这对多轮智能体是生死线。
训练：先会换挡，再学何时换挡
监督阶段分三段：格式激活只训投影部件教锚点；投影激活让潜隐状态对齐目标嵌入；自条件两遍训练消掉训练与推理输入的不一致。消融数据显示前两段只解决能跑通，真正涨能力的是第三段——AIME25 从 20.6 提到 32.5。强化阶段处理潜位置没有 token 似然的问题：只在文本位置做似然分解，rollout 记录的潜输入精确回放，奖励由正确性、格式、工具三项构成，故意不给"多用潜模式"发奖——什么时候闭嘴想、什么时候说话，是从把任务做好里涌现的。
数字怎么读
大增益集中在多轮工具任务上：GAIA 从 43.7 提到 52.4，WebWalker 从 40.5 到 49.5；纯数学只涨一到三点。这符合直觉——文本思维链的浪费在多轮调用里被放大得最厉害。因果干预实验确认潜思考不是装饰：对潜向量加噪声或随机替换，MATH500 掉 40 点以上。
成本数字要按口径读：2.7 到 3.7 倍的降低是按自定义成本模型逐组件算的，不含预填充、上下文注意力与外部工具执行时间。工具耗时占主导的负载里，潜步省的部分会被稀释，摘要数字别直接套自己的场景。
落地的真实门槛
最大的坑是引擎依赖：现有推理服务引擎不支持多轮混合生成，作者自己扩展了训练与推理设施才打通三种状态切换。官方模型卡写明只用 transformers 加载得到的是纯文本模型，潜模式和工具必须跑仓库代码。社区实测已经踩出问题：有人把 8B 的 GGUF 量化版放进 llama.cpp，模型在思考里无限循环直到耗尽回合预算，BF16 同样如此——判断是运行时兼容问题。这类模型的可用的性是引擎级属性，不是权重级属性，第三方运行时没跟上之前，"模型坏了"多半是"引擎不对"。
可审计性也有边界。伪文本靠最近邻词嵌入渲染，一个潜向量若编码了多个 token 的组合语义，读出来只剩最近的一个。论文给出弱强监控器下 AUROC 偏差不超过 0.022、失败定位率 98% 以上的数据，但"看见的是解释而非还原"这个批评成立，受监管场景对伪文本能承载多少信任仍是待答题。
选型判断
适合：自建推理栈、负载以长思考短动作为主、能改引擎、已有 token 账单痛点的团队。不适合：只用托管 API 的团队、成本集中在工具调用或长预填充的团队、需要逐字推理留证的合规场景。上手验证按官方仓库走，配好搜索工具的 API Key 后先跑批量推理脚本，再渲染伪文本报告核对潜段是否真的参与推理。想少改基础设施选同类 vLLM 插件方案，想要更长静默推理就接受引擎改造成本——取舍在基础设施，不在模型。
评论0