

最近精读了一篇两万多字的 Agent 长文,从提示词工程一路讲到多智能体协作,框架演进梳理得很全。但合上文章,我最想记下的不是全景图,而是我自己把 Agent 接进生产时踩过的四个坑——文章里都有对应的知识点,只是不踩一次,读的时候体会不到分量。

控制权交出去之前,先想清楚怎么收回来

Agent 和普通 LLM 应用的本质区别就一条:控制流由模型在运行时决定。下一步调什么工具、什么时候停,都是它自己判断的。

这意味着两件事必须提前设计。第一是迭代上限,maxIters 这类参数生产环境必须设,常见默认值是 10,复杂任务可以放宽到 20——宁可让它"没做完就返回",也不能让它无限烧钱。第二是权限闸门,每次工具执行前要过一遍允许/询问/拒绝的检查,敏感操作必须停下来等人确认。中断恢复也别忽略:好的实现支持按 (userId, sessionId) 精确中断某个会话,状态自动保存,下次从中断点接着跑。

我推荐权限规则独立建模(比如挂在专门的权限上下文里),而不是混在对话历史里,因为后面你会看到,对话历史是会被压缩的。

工具描述是写给模型看的,不是写给人看的

模型选工具,依据就是工具的 description。写"查询数据"这种四个字的描述,等于让模型闭着眼抽签。

我见过最稳的写法是把输入输出格式、筛选维度、返回字段全部写明:"查询 MySQL 订单表中指定日期范围内的订单记录,支持按客户ID和订单状态筛选,返回订单号、金额、状态、创建时间"。描述之间还不能有职责重叠——两个工具都能"查数据",模型就会困惑该用哪个,要么合并,要么在命名和描述里把边界划清楚。

另一个实用细节:给只读工具加 readOnly 标记,框架可以放心并发执行,整体延迟能降不少。

压缩是把双刃剑,先别急着压

长对话跑几十轮,上下文必然膨胀,压缩是标配操作。常见的生产配置:20 条消息触发压缩,只保留最近 8 条加一份摘要,工具参数超过 2000 字符就截断,超过 80K 的大结果直接落盘不进上下文。

但压缩是有损的。说到这插一句:我吃过一次亏——早期的"只允许查询、不允许写操作"约束,随对话历史一起被压进了摘要,摘要重生成时这层边界被弱化了,Agent 后面开始尝试调用写接口。修法就一条:安全边界和权限规则放进独立的权限上下文或 system prompt,永远不参与压缩。会话记忆里只放"可以丢"的东西。

压缩阈值也别拍脑袋定低,20 条比 50 条触发效果好,但压得太狠会丢任务上下文,得拿自己的任务实测。

状态丢过一次,才懂 AgentState 为什么这么设计

现在主流框架都把 Agent 实例设计成无状态的,所有状态按 (userId, sessionId) 外部化存储。会话状态里不只是聊天记录:权限规则、任务清单、工具激活状态、压缩摘要,全在一起。这样单个实例能同时服务成千上万个会话,配上 Redis 这类分布式存储还能跨机器故障转移。

坑在运维侧。我有次重启后发现用户会话"失忆",排查到 Redis:实例配了 maxmemory-policy 为 allkeys-lru,内存吃紧时 AgentState 的键被当普通缓存逐掉了,下次调用恢复出来就是空状态,任务从头再来。状态键和业务缓存混在同一个淘汰域里,这就是根因。解法是给状态单独分 DB 或者独立实例,策略用 noeviction,靠容量规划兜底,而不是靠淘汰。

那次之后我才算真正理解"状态外部化"这四个字的分量。

一个容易被忽略的时间线

还有个背景知识值得补上:原生 Function Calling 这个 API 形态,OpenAI 是 2023 年 6 月才推出来的。在那之前,工具调用全靠在 prompt 里拼 JSON 格式约定,再用正则从回复里抠参数,格式错误是家常便饭。现在框架里"支持原生结构化输出的模型走 response_format,不支持的降级到合成工具加指令"的双路径设计,就是那段历史的痕迹。理解这一点,看各家框架的兼容层代码就不会觉得绕。

死循环的验收怎么做

最后是验证。修复死循环不能靠肉眼盯日志,我用的办法是故障注入:故意接一个永远超时的工具,让 Agent 跑 20 轮,然后统计两个数——是否在 maxIters 之内收敛返回、同一工具带相同参数的重复调用是否不超过 2 次。两条都过,才算修复。工具返回值里也要带上状态信息("查询成功,还有 3 条未处理"),模型判断任务进度全靠这个。

Agent 这套东西,概念一天就能看完,坑都得自己踩。四个坑踩完,再回头看那些全景图,每一段都能对上号了。

评论0