RAG 也治不好幻觉?先把两类幻觉分开再说

文章配图

我上个月给内部知识库接了一层 RAG,本来以为幻觉这事就算交代过去了。结果测试同事第三天就拿着截图来找我:问它"咱们差旅补贴上限是多少",它答得有模有样,数字是编的。

检索明明命中了文档,回答还是离谱。这让我把幻觉这个问题从头捋了一遍,发现之前我把两件完全不同的事混在一起谈了。

两类幻觉混着谈,方案一定跑偏

幻觉不是一个东西,是两个。

事实性幻觉是内容跟客观事实冲突,比如一本正经地告诉你"蜂蜜能帮糖尿病人稳血糖"。忠实性幻觉是输出脱离了你的指令或上下文——你问"糖尿病人能不能用蜂蜜代糖",它只顾着讲蜂蜜的营养价值,核心问题碰都不碰。

区分它们为什么重要?因为对策完全不同。事实性幻觉靠外部知识治,RAG、联网搜索都是冲着它去的;忠实性幻觉是模型没听懂你要什么,接十个知识库也没用,得从指令结构、上下文组织下手。我那次事故就是典型:文档命中了,问题是提问方式让模型跑偏了,属于后者。

模型敢猜,是因为蒙题不扣分

为什么模型宁愿编也不说"我不知道"?

OpenAI 在 2025 年发过一篇论文《Why Language Models Hallucinate》,里面有个说法我印象很深:主流评测大多是二元评分——答对得分,答错或拒答都不加分。这对模型来说就是"蒙题不扣分"的训练信号,猜对了白赚,认怂纯亏。行为就这么被机制养出来了。

顺带修正一个流传很广的说法。原文(以及不少转述)讲"人类对 LLM 内部机制的理解只有 10%~20%,来自 Anthropic",我后来去翻了 Anthropic 2025 年 5 月的 circuit tracing 研究,人家做的事情是把模型内部的计算图追踪出来,论文里并没有"我们只理解了百分之十几"这种量化结论。这个数更像传播过程中的再创作,引用时要小心。

这一步想明白,很多"玄学调优"就能省了。

检索这条路,坑在向量库

RAG 本身也有坑,而且坑起来很安静。

说个我亲自踩的:知识库重建时,入库用了 bge-large-zh-v1.5,查询侧升级换成了 bge-m3。两个都是主流中文 embedding 模型,看着挺兼容——结果检索命中率直接归零,相似度分数全线下滑,日志里没有任何报错。

排查了半天才发现根因:不同 embedding 模型的向量空间不通用。维度都可能一样,但语义坐标完全是两套体系,混用之后余弦相似度算出来的是噪声。解决也简单:统一模型,要么全换 bge-m3 然后重建整库索引,要么回退到旧模型。教训是 embedding 模型的版本要当成数据库 schema 来管理,升级=重建索引,没有原地兼容这回事。

联网搜索不是免死金牌

原文里有个数据值得单拎出来:DeepSeek V3 接入联网搜索后,幻觉率从 29.67% 降到 24.67%。

有用,但只降了 5 个点。剩下近四分之一的幻觉哪来的?联网检索引入的内容本身就是污染源——SEO 农场批量生产的伪科普、过时的旧新闻、以讹传讹的自媒体,模型基于这些材料作答,等于把幻觉从"凭空编"升级成了"有出处的错"。出处反而更有迷惑性。

所以我推荐 RAG 加重排,而不是单纯调大 Top-K,因为不重排的 Top-10 里混进两三条干扰片段,"迷失在中间"效应会让正确答案反而被稀释。检索质量这条线的投入产出比,远高于在生成端反复换模型。

幻觉率要有验收数

最后说验收。没有数的优化都是感觉。

我的做法是自建一套 100 条左右的已知事实问答集,覆盖高频业务问题和已知易错点,然后用 RAGAS 的 faithfulness 指标跑分,每次改动(换模型、调检索、改 prompt)都重新跑一遍。判定线定在 faithfulness ≥ 0.95,够不到就不上线。这套流程二十分钟能跑完,比事后人工抽查截图靠谱得多。

幻觉治不到零,但两类分开、检索做干净、验收卡住数,至少能做到:它编的时候,你知道它可能会编。

0

评论0

请先
显示验证码
没有账号?注册  忘记密码?