这项工作由清华、浙大与美团 LongCat 团队联合完成，挂在 Arxiv 26.08 上，瞄准的是长程多轮 Agentic RL 里一个老大难问题：回合级信用分配。
作者的核心判断是：一个回合该拿多少功劳，不该由它自己的局部信号说了算，而要看这个信号把“最终能成”的估计概率推动了多少。
背景
和一次性静态推理不同，多轮 Agent 要在部分可观测的环境里持续互动：看着当前观测出手，环境再给出新的观测。
还有一条互补路线提供的是更稠密的 token 级监督。On-policy distillation 让学生直接在自己的 rollout 上向 teacher 学；自蒸馏版本（OPSD）更省事，让同一个策略额外条件在“只有训练时才给看的特权信息”上，连单独的 teacher 都免了。
-
OPSD 的 token 级信号和 Agent 交互天然不对齐，多个 token 共同构成一个动作，环境只在回合边界响应
-
现有的 step-aware 方法即便按步来看，也是孤立地给每一步打分，没有考虑此前交互累积下来的证据
由此中心难题是把孤立的局部 OPSD 信号转化为依赖历史的回合级信用
方法
问题设定与 GRPO 基线
给定任务 \(x\) 和初始观测 \(o_0\)，Agent 从 \(s_1=(x,o_0)\) 出发。第 \(k\) 回合按当前策略采样动作 \(a_k=(y_{k,1},\dots,y_{k,L_k})\sim\pi_\theta(\cdot\mid s_k)\)，\(s_k\) 是可见的交互历史、\(L_k\) 是动作长度，观测到 \(o_k\) 后历史变为 \(s_{k+1}=(s_k,a_k,o_k)\)，一条 \(K\) 回合的轨迹 \(\tau\) 结束后拿到二元奖励 \(R(\tau)\)。GRPO 对每个任务采样 \(G\) 条轨迹，用组内奖励的均值与标准差算出序列级优势，并把它赋给该轨迹里每一个 token，回合级信用始终没解决
从结果贡献到贝叶斯回合证据
直接度量第 \(k\) 回合的反事实贡献，需要对 \(a_k\) 之后所有可能的后续做边际化，长程交互下不可行。作者改用事后（hindsight）的证据视角：记 \(C\) 为"轨迹最终成功"这一事件，若 \(a_k\) 有助于成功，它就应该更像成功行为、而不像失败行为，贝叶斯规则把信念的变化写成动作侧的似然比：
\[\text{logit}\, p(C \mid s_k, a_k) - \text{logit}\, p(C \mid s_k) = \log \frac{p(a_k \mid s_k, C)}{p(a_k \mid s_k, \neg C)} \]
右边是理想的 Bayes factor，符号表示这个动作增加还是减少对最终成功的支持。由于结果条件分布拿不到，作者用一个可计算的每回合自蒸馏对比来事后估计它：让同一个策略分别在"特权成功相关的 self-teacher"和"标准学生"两种上下文下，对同一个学生生成的动作打分。两者的 token 上下文为 \(h_{k,t}=(s_k,y_{k,<t})\) 与 \(h^+{k,t}=(s_k,c^+,y{k,<t})\)，其中 \(c^+\) 是仅训练时检索到的、描述有用子目标与动作模式的 skill
对每个 token 定义 detached 的似然比 \(\delta_{k,t} = \log \pi_\theta(y_{k,t}\mid h^+{k,t}) - \log \pi\theta(y_{k,t}\mid h_{k,t})\)，\(\delta_{k,t}>0\) 说明 \(c^+\) 提高了该 token 的似然。对回合内 \(L_k\) 个 token 求和，得到回合级证据：
\[e_k = \sum_{t=1}^{L_k} \delta_{k,t} = \log \frac{\pi_\theta(a_k \mid s_k, c^+)}{\pi_\theta(a_k \mid s_k)} \]
附录证明了在两个假设下 \(e_k\) 是理想 Bayes factor 的可计算近似，且始终保持符号一致（\(\text{sign}(e_k)=\text{sign}(\mathcal{B}_k)\)），AgentOPSD 只用到它的符号与排序，因此把 \(e_k\) 当作一个 tractable 的贝叶斯启发式证据代理
递归信念更新
不过这样算出来的每回合证据仍只是一个孤立分数，看不出它在前面若干回合累积的背景下究竟有多关键。作者转而维护一个“这条轨迹最终会成功”的信念，每个回合只关心它把这个信念推动了多少。
信念的初值取组内成功率，也就是这批采样轨迹里成功的比例；之后每个回合把自己的证据累加进来，越靠前的回合按衰减因子逐步淡出。
\[B_0 = \text{clip}(\bar{R},\, \epsilon_0,\, 1-\epsilon_0), \ c_k = \gamma\, c_{k-1} + e_k, \ B_k = \sigma\big(\text{logit}(B_0) + c_k\big) \]
\(c_k\) 是带衰减的证据累加值，外面套一个 sigmoid 把它压回 0 到 1 之间的信念，\(\gamma\) 越小，久远回合的影响消退得越快。一个回合有多重要，就看它让信念动了多少：
\[\Delta B_k = B_k - B_{k-1} \approx B_{k-1}(1 - B_{k-1})\big(e_k - (1-\gamma)c_{k-1}\big) \]
前面的系数 \(B_{k-1}(1-B_{k-1})\) 说明：信念还半信半疑（接近 0.5）时，一条证据能撬动的幅度最大；等信念已经笃定成功或失败，再多的证据也几乎改不动。更新在回合边界进行，逐 token 的版本只用于消融对比
结果对齐信用与有界优势重塑
有了每个回合的信念变化 \(\Delta B_k\)，还要给它定个方向。方向由这条轨迹最终是成功还是失败决定（即验证器给的结果），大小则用信念被推动的幅度：\(q_k = \text{sign}(A_{\text{seq}})\,\Delta B_k\)。这样一来，成功轨迹里把信念往上推的回合、失败轨迹里把信念往下压的回合，都会拿到正的信用
不过 \(q_k\) 只用来调节 GRPO 优势的大小。对每条轨迹，先把它各回合的 \(q_k\) 在轨迹内部标准化，再转成一个乘子 \(w_k\)：
\[z_k = \frac{q_k - \mu_q}{\sigma_q + \epsilon_0}, \ w_k = \text{clip}(1 + b z_k,\, 1-b,\, 1+b) \]
\[\widetilde{A}k = A{\text{seq}}\big[(1-\lambda) + \lambda w_k\big], \ b\in(0,1),\ \lambda\in[0,1] \]
乘子 \(w_k\) 被夹在 \([1-b,\,1+b]\) 之间且恒为正，所以它只会把信用高的回合放大一点、信用低的回合缩小一点，绝不会把 GRPO 优势的正负号翻过来。\(b\) 决定放大缩小的幅度，\(\lambda\) 决定整体重塑的强度，\(\lambda=0\) 时 \(\widetilde{A}k\) 就等于原始的 \(A{\text{seq}}\)，完全退回 GRPO。每个 token 继承它所在回合的 \(\widetilde{A}\)，代入裁剪的 GRPO 目标：
\[\mathcal{L}{\text{AgentOPSD}}(\theta) = -\frac{1}{G}\sum{i=1}^{G}\frac{1}{\sum_t M_{i,t}}\sum_t M_{i,t}\min\!\Big(r_{i,t}\widetilde{A}^{(i)}{\kappa_i(t)},\ \text{clip}(r{i,t}, 1-\varepsilon, 1+\varepsilon)\widetilde{A}^{(i)}{\kappa_i(t)}\Big) + \beta \mathcal{L}{\text{KL}} \]
整套方法不额外加蒸馏损失，self-teacher 只提供不回传梯度的信号，唯一通过重塑后的 \(\widetilde{A}\) 起作用。相比 GRPO，代价仅是每条轨迹多一次 teacher 前向，信念重塑都是逐元素的简单运算，不加 rollout、不加可学习参数
实验
在三个多轮交互环境上评测：ALFWorld （文本具身，六类家务任务）、Search-QA （Search-R1 设定，NQ、TriviaQA、HotpotQA 等七个数据集）、WebShop （在线购物，128 个固定验证任务）。骨干用 Qwen2.5-3B/7B-Instruct，8×H800 训练，特权 skill 只在训练时按关键词检索注入，推理时不用任何外部 skill。对比方法覆盖训练无关（Vanilla、Skill-Prompt）、组相对 RL（GRPO、Skill-GRPO）、自蒸馏 RL（OPSD、GRPO+OPSD、Skill-SD、RLSD、SDAR、StepOPSD）三组，所有方法共享同一骨干、数据与预算
主要结果
在 Qwen2.5-7B 上，AgentOPSD 把 ALFWorld 的平均成功率推到 89.1% ，Search-QA 拿到 49.2%，WebShop 则是 90.2/79.7。
随交互步数增长的鲁棒性
AgentOPSD 面向的正是"均匀信用最有害"的长程场景。作者用每子任务成功率对成功轨迹平均回合数做回归，看每多一个回合掉多少成功点：均匀信用的方法掉得最快（RLSD 每回合 \(-3.59\)、GRPO \(-2.91\)），而 AgentOPSD 最平，只有 \(-0.54\)。轨迹越长，单一广播优势要覆盖的决策越多，依赖历史的信念修正就越有用
超参数敏感性
单独扫每个旋钮、其余固定在 \(\lambda=0.5,\gamma=0.95,\epsilon_{\text{high}}=0.24\)。重塑权重 \(\lambda\) 效果最清晰，\(\lambda=0.5\) 最好、更小的值都变差；证据衰减 \(\gamma\) 在 \(\{1.0,0.95,0.9,0.8\}\) 内波动只有几个点、无单调趋势，说明对旧证据折扣多快不敏感，主结果统一用温和的 \(\gamma=0.95\)；策略裁剪 \(\epsilon_{\text{high}}\) 几乎无影响，重塑后的目标继承了 GRPO 的信赖域鲁棒性
总结
AgentOPSD 的核心贡献是把回合级信用形式化为"每个回合对成功信念的修正量"：在对数几率空间里，把每回合的自蒸馏差距接到一个递归贝叶斯更新上，从而说明孤立的自蒸馏差距本身并不是顺序信用。它把 token 级 teacher-student 差距在回合边界聚合成对齐环境的证据，再让证据在轨迹成功信念里递归传播，不需额外 rollout 或学习 critic
从工程视角看，这套设计最巧的地方在分工：符号交给验证器拍板，幅度交给信念修正，再配一个恒正的有界乘子，既重排了信用，又不会把 GRPO 的方向掀翻；代价只是每条轨迹多跑一次 teacher 前向，落地几乎不花额外成本。
评论0