判断模型实测:万分之一成本给大模型当门卫

Agent 成本的大头,往往花在大量"该不该、像不像、选哪个"的低级判断上——这些事让逐字生成的大模型做,等于用高射炮打蚊子。一类不走寻常路的判断模型给出了另一种解法:一个字都不写,只返回校准过的概率,单次判断约万分之一元。本文拆它的题型语法、与大模型的分工模式,以及上线前必须过的四道关。

语法只有三种题型

没有聊天接口,只有三类题:是非题(返回概率,如"用户在生气吗"给 0.97)、选择题(从给定选项里选,附完整概率分布和置信度)、评分题(在量尺上打连续分,1.77 意思是"介于中与高之间、明显偏 high")。

三个结构性优势值得注意:概率是校准过的——0.9 以上自动处理、模糊地带转人工,阈值自己定;不可能幻觉——只能从给定选项里选,编不出别的内容;输出永远合法——没有自由文本就没有 JSON 解析失败。代价同样结构化:没有思维链、不解释推理,只给结论和把握。定位一句话:它是应用里的"判断零件",不是"写作零件"——写文案翻译总结轮不到它,但"该不该、像不像、选哪个"它又快又便宜(输入约 0.3 元/百万 token,输出免费)。

四种分工模式,全部实测

分工原则一句话:生成与规划交给大模型(少而贵),高频判断交给判断模型(多而便宜)。

  • 门卫:客服消息先并行过四道判断题,约八成简单判断直接模板直答,大模型一次都不用调;愤怒概率超阈值且紧急度高的,直接亮"人工优先"灯。
  • 评审:大模型写 4 条候选文案,判断模型一次请求并行打分选优,单次约 0.0002 元——比让大模型自评低两个数量级。
  • 教练加执行:大模型看一眼迷宫写下 60 字策略,判断模型每步选方向,10 步通关走的是理论最短路径,全程约 0.0016 元。
  • 质检:大模型写文案,三关验收(吸引力、切题、用词安全),哪关不过就把评委意见拼进重写提示词。实测两轮质检共约 0.0003 元;字数校验这种事由代码直接数,不劳烦任何模型。

一个值钱的教训:过关线定 2.0 能稳定过审,定 2.2 几乎永远过不了——阈值必须拿自己的真实样本校准,别人的数抄不得。

选项质量决定判断上限

判断模型的智商上限取决于你喂给它的选项质量。实测浏览器 Agent 在 1227 个链接里找目标的案例,先本地剪枝到 25 个候选再交判断,四个剪枝坑都是真踩过的:排序用精确匹配(前缀匹配让带参数的变体链接挤掉真目标)、不可见链接要过滤(DOM 里存在但点不动,选了就卡死)、同页链接要剔除(纯浪费步数)、动作空间要覆盖完整路径——你剪掉的动作模型永远选不到。

低置信度下判断模型在两个选项间来回打转,修法不是改提示词,是把"原路返回"从选项里删掉——选项集本身就是最强的提示词。顺手一条增益:本地几毫秒能算出的特征(目标方位、近期走位)直接写进状态输入,能便宜算的就别花模型的钱。

概率别只取最大值

拿到概率分布,三种比"取最大"更值钱的用法,直接看分支代码:

// ① 双阈值:高置信自动处理,模糊地带升级人工
p > 0.9 ? autoQueue() : p > 0.5 ? humanReview() : normalQueue();
// ② 低置信兜底:分布太平说明问题本身模糊
confidence > 0.7 ? routeTo(choice) : routeTo(fallback);
// ③ 连续分:1.77 这种"偏 high"的信息,取整就丢了
if (urgency.score > 1.5) bumpPriority();

①就是经典的"廉价第一道过滤":判断模型拦下八成简单判断,只有低置信或复杂请求才进大模型——两个数量级的成本差主要就是这么省出来的。调试期把每步的概率条、置信度、耗时、费用实时画出来——看它"犹豫"往往比看它"选了什么"信息量大。

上线四道关

校准验证:拿 20-50 条真实样本对照人工标注,题目写法决定概率质量。锁版本:用固定版本号不用 latest,别让模型静默更新把阈值作废。超时降级:判断服务失败要能回退到关键词规则或小模型,决策层不能单点故障。概率落日志:答案和费用一起记,回溯校准与成本核算全靠它。

什么时候用:选项有限、调用高频、需要概率。什么时候不用:开放式规划与文本生成。最好用的形态从来不是二选一,而是双系统——大模型定策略写文案兜底复杂请求,判断模型在每一次"该不该、选哪个"的关口上便宜地站岗。

0

评论0

请先
显示验证码
没有账号?注册  忘记密码?