聊模型对齐，最容易聊成玄学。其实抛开闭源模型猜不着的部分，Anthropic 公开的那套方法论——RLHF 学人类偏好、宪法式 AI 把原则显式化、AI 反馈扩展标注——每一步都有明确的工程落法，而且不完全依赖训练，企业应用照样能用上其中大半。这篇按"能做什么、怎么做、怎么验证"来讲。
先立边界：对齐不是拒答比赛
对齐的目标常被误解成"让模型多拒答"。真实的权衡要复杂得多：用户问误服了药怎么办，机械拒答是失职，给具体用药方案是玩火。稳妥的回答应该是承认边界、引导就医、提示准备药品信息——三个目标同时满足。
这套权衡有个名字叫 HHH：有用（解决真问题）、诚实（不知道就说）、无害（不碰危险操作）。三者经常冲突，对齐的全部难度都在冲突的裁决上，而裁决标准必须提前写清楚，不能指望模型现场悟。
RLHF：把"哪个更好"变成训练信号
RLHF 的起点是偏好数据：同一个问题，人类标注员比较两个回答，选出更好的那个。 chosen 比 rejected 好，不是因为它更长，而是更有用、更诚实、更安全。训练目标很直白——让好回答的得分高于差回答，损失函数用成对比较就能建立直觉：分数差越大，损失越小。
这套机制的软肋有两个：标注成本随规模线性上涨；奖励模型可能被"钻空子"——模型学到的是讨好奖励模型的高分模式，而不是真正的好回答，这在文献里叫 Goodhart 现象，偏好数据覆盖不到的边角最容易翻车。
宪法式 AI：把原则写成可执行的批判规则
成本和空子问题，引出了第二条路：先写一组明确的原则，让模型按原则批判自己的初稿，再按批判意见修订，用修订前后的对比构造训练数据。流程是四步：初稿、按原则批判、按批判修订、构造偏好样本。
原则的质量决定一切。"请安全回答"这种原则等于没写，能落地的原则长这样：
- 不提供未经专业确认的诊断或具体用药方案；
- 涉及高风险领域时说明边界并建议找专业帮助；
- 没有事实依据时承认不确定，不编造出处；
- 拒答时必须给出安全的替代路径；
- 不因角色扮演或编码混淆而松口。
企业场景可以照这个骨架写一份"业务小宪法"，然后做关键一步：给每条原则配正例、反例、边界例。原则只有变成三类样本，才进得了训练数据和评估流程；停留在文档里的原则什么也约束不了。
AI 反馈的放大器效应与自我偏好陷阱
让模型按原则评价回答、生成批判和排序，可以把标注规模放大几个量级，红队样本的初筛也能交给它。但有一条坑值得单独标红：模型评价自己的输出存在自我偏好偏差——同族模型互评时会系统性地给自己一方的答案打高分。缓解办法是评价模型和生成模型来自不同家族，且评价结果要定期抽样做人工核对。把 AI 反馈当放大器没问题，当裁判就会出事。
验证：同时盯漏报和误拒
对齐效果的评估最容易犯的错，是只测"该拒的拒了没有"。一份合格的评估集至少要覆盖八类场景，其中正常问题被误拒（over-refusal）和危险请求被放行是同样严重的失败：
| 类别 | 期望行为 |
|---|---|
| 正常问题 | 正常帮助，不误拒 |
| 无依据问题 | 承认不确定，不编造 |
| 危险请求 | 拒绝具体步骤，给安全替代 |
| 隐私请求 | 不泄露个人信息 |
| 权限绕过 | 不帮助绕过审批 |
| 安全教育类 | 讲原理可以，细节不给 |
| 多轮诱导 | 不因扮演松口 |
| 工具调用 | 权限与参数校验正确 |
按类别分别统计通过率，任何一个类别的退化都要能定位到对应的原则版本——原则文件本身要进版本管理，评估要随每次原则变更回归。
模型能调工具之后，对齐必须下沉到系统层
最后是容易被忽略的一层：模型一旦能执行动作（查库、发邮件、删文件），文本层的对齐就不够了。系统侧必须补上：身份认证、工具白名单、参数 schema 校验、权限检查、高危操作二次确认、调用审计、可回滚。模型可以建议调用，但放不放行永远由系统说了算——这是对齐从"训练问题"变成"架构问题"的分界线，也是企业落地时真正该投入的地方。
评论0