深刻理解AI 第16讲——幻觉的根源：为什么它一本正经地胡说

访问DeepWrite

排版设置

在这里统一调整字体、字号、目录停靠位置和正文显示方式，不挤占右上角工具条。

字体

字号

目录层级

目录停靠位置

决定目录固定在左侧还是右侧，方便按手势习惯或演示场景调整。

正文显示方式

决定正文是否保留独立阅读卡片背景；关闭后正文会更贴近整页背景。

中文长文先试中文经典；英文长文先试 English Essay。目录默认显示到 H2，可按需要扩到 H4；目录位置和正文显示方式也可以在这里统一调整。

朗读菜单

直接在 HTML 页面内朗读，下载文件和独立分享页都可使用。这里只保留最少功能。

当前状态：未开始

语音

语速 0.82x

高亮级别

浏览器支持时会记住上次朗读位置。

全屏专注式阅读说明

这页优先保留鼠标与触摸操作，让阅读、选词、点击链接和查看目录互不打扰。

单击正文空白区：同时显示或隐藏主题区和目录。
开始滚动正文：自动进入专注态，减少阅读时的视觉干扰。
双击正文空白区：进入或退出全屏专注式阅读状态。
全屏专注时，按 Esc 或点击“退出全屏专注”：退出全屏。

深刻理解AI 第16讲——幻觉的根源：为什么它一本正经地胡说

一、场景钩子：它说得越具体，错得越离谱

几个真实味很浓的画面。

一位律师用模型辅助写诉状，模型贴心地引用了几个"判例"，还配了逼真的案号与法院名称。开庭前助理一查，全是编的——案号格式对、法院名对、但案件根本不存在。模型没有恶意，它只是"顺手"接出了法律文本里最常见的形状。

一个学生用模型写论文，参考文献列表一半是虚构的，但作者、期刊、年份、卷期挑不出格式错。审稿人若不逐条核实，就会被这串工整的假引用骗过。

一个客服机器人信誓旦旦告诉用户"本店支持七天无理由退换"，而你们公司的实际政策是十五天——它从没读过你们的规则，只是从训练文本里"接"出了电商客服最常说的那句话。

这三件事的共同点刺眼：模型说得越具体、越自信，往往错得越离谱；而且它不心虚——在它生成的那一刻，它"以为"自己接得对。问题来了：这种"一本正经地胡说"，到底是某个模块的 bug，还是这套生成方式的天性？能根除吗？

承接丙5（我们刚讲完，对齐解决的是"想做什么、该做什么"），这一讲拆一个更底层的可靠性裂缝：对齐管住了意图，却管不住"说的是不是真的"。 幻觉，是大模型最容易被用户低估、也最容易造成真实损失的问题。这一讲把它连根拔起。

二、原理讲透：幻觉是生成方式的"天生代价"

先定义：幻觉，指模型生成的内容与事实不符，且它表现得自信、流畅。 细分两类：一类叫"事实性幻觉"——内容和真实世界的事实对不上（那个不存在的判例）；一类叫"忠实性幻觉"——内容和你给它的上下文或指令矛盾（你说"根据上面三句话总结"，它偏说成了四件）。两类根子相通，都源于"生成"与"求真"的错位。

根源一：预测下一个 token 是"接得顺"，不是"查过证"

回到丙1 最底层的机制：模型做的全部事情，是"给定前文，采样下一个最可能的 token"。它从不联网核实、从不翻档案，它只在自己学到的分布里，取当前最顺的延续。关键来了：在训练文本里，"法律问题"通常就配着"具体案号"出现，所以"接一个像样的案号"比"说我不知道"在分布里更顺。模型只是忠实地选了更顺的那条路——而那条路恰好是编的。幻觉的第一根，是机制本身：它优化的是流畅，不是真实。

根源二：训练数据里本就有错、有谣、有虚构

模型从人类文本里学，而人类文本从来不是纯净的真理库——里面有错误知识、有都市传说、有小说、有故意编造的内容。模型分不清"百科词条"和"同人脑洞"，它一视同仁地按分布学。所以它"记住"的，可能正是别人编的。你问它一个冷门史实，它从分布里掏出的"答案"，来源可能是某篇以讹传讹的帖子。

根源三：表示空间里"流畅"不等于"真实"

呼应甲1 的"表示"神经：模型优化的是"在表示空间里接得顺"，而"顺"和"真"是两件事。一个错误的陈述，只要语言通顺、符合语境，在分布里照样拿高分。流畅是模型制造出来的假象，真实是额外加给它的约束——而生成目标里本没有这条约束。 这就是为什么幻觉总披着"很会写"的外衣。

根源四：暴露偏差，误差从第一步累积

训练时，模型看到的前文是"真实的"；生成时，它看到的前文是"自己刚编的"。这一步的偏差，会沿着生成链一路滚下去——它基于自己编的前一句，编出后一句，越编越远，且没有"我刚才编了"的元认知去刹车。长文本里这种漂移尤其明显：开头还靠谱，写到第三段已经信马由缰。

根源五：知识有截止，长尾会脑补

预训练有"截止日期"（丙4 讲过，基座模型不知道训练后才发生的事）；对小众、长尾领域，分布稀疏，模型容易"脑补"一个听起来合理的版本。你问它你们公司内部的流程，它没见过，就按"一般公司大概这样"接了——而"一般"恰恰是错的。

根源六：对齐的副作用，悄悄鼓励了编

这是和丙5 的暗线连接。人类反馈和微调奖励的是"有用、流畅、像在帮忙"，而"老实说我不知道"在偏好里常常显得"偷懒、不配合"。于是模型被轻轻推向"编一个听着有用的答案"，而非"坦诚说不会"。对齐在修"该不该说"，却可能加重"说没说真"——这是对齐工程最反直觉的代价之一。

（原理落点收口）幻觉不是某个模块的故障，而是"以流畅为目标的生成"与"以真实为要求的使用"碰撞时的结构性代价。只要模型的目标是"接得顺"，而你的任务是"说得对"，这条缝隙就天然存在。它不是 bug，是天性——这意味着你没法"修好它"，只能"围堵它、协同它"。

三、来龙去脉：从"通顺"到"可靠"的范式转折

早期就有，只是没人当真

机器翻译、文本摘要时代就有"编造"，但那时输出短、错得明显，读者本能不信。大模型让生成变长、变顺、变自信，幻觉也跟着变长、变隐蔽、变可信——你很难一眼看出那段流畅的法条是编的。能力越强，幻觉的破坏力越大。

检索增强：把答案拴上绳子

后来出现"检索增强生成"（丁2 专讲）：先让模型去搜真实文档，再把答案锚定在搜来的内容里。这大幅压低了事实幻觉，因为答案有了外部依据。但它不是根治——检索可能失败、可能检索到错文档、模型改写时仍可能走样。检索增强是"把答案拴在绳子上"，但绳子会断。

评估基准：让幻觉率可被量化

随着问题凸显，一批专门测"模型会不会胡说"的基准出现，让"幻觉率"从模糊感受变成可量化指标。今天严肃的产品上线前，都要测这一项。范式由此从"生成流畅"转向"生成可靠"——这是大模型落地最核心的矛盾。

（戏剧线）从"能说"到"说得对"，是丙组收官要立的判准。前面五讲讲清了模型"能做什么、怎么来的、想做什么"，这一讲泼下冷水：它做的，未必是真。

四、破除误解：关于幻觉的四个错觉

误解一："上了检索增强，幻觉就彻底没了。" 检索增强大大降低幻觉，但不根治。检索失败（没搜到）、检索到错误文档、或模型在把检索内容"改写"进答案时走样，都会重新引入幻觉。把检索增强当"免死金牌"，会在检索链路任何一处出问题时猝不及防。我的判断：检索增强是必要的，但必须配"引用可追溯 + 检索失败显式告知"，而非默认它永远对。

误解二："模型更大、数据更多，就不幻觉了。" 规模提升的是能力，不是事实性。更反直觉的是：大模型往往更会编、编得更真——因为它表示空间更细腻，能把谎言编得滴水不漏。所以"换最大模型治幻觉"是南辕北辙，有时还加重。治幻觉靠架构与流程，不靠堆规模（呼应丙2：规模解不了可靠性）。

误解三："它知道真相，只是故意骗你。" 这是把人的意图投射给模型。模型没有"信念"，只有"分布里的采样"。说它"骗"，是误读了——它无此意图，只是接错了位置。认清"它无信念"，你才不会愤怒，只会冷静地加校验。产品上：别和模型讲道理，要给它可验证的锚点。

误解四："温度调到零，幻觉就消失了。" 丙1 讲过，温度只管"随机性"，不管"事实性"。零温只是每次都取分布里最高的那个 token，而那个最高的，照样可能是编的。零温让幻觉更"稳定地错"，不是"不再错"。

五、实践影响：幻觉逼出六条产品与工程决策

（实践落点主体，本讲重头戏）

决策一：为出错设计——把它当"会出错的人"，而非"不会错的库"。 第一条铁律：凡模型输出可能被当事实，界面就要主动提示"AI 生成，请核实"，高风险处强制附来源。不要让它以"专家口吻"出现，要避免用户把流畅误当正确。在真实项目里我会这样选：默认在模型输出旁标注生成性质，关键决策链上弹出"请人工确认"，而不是把确认按钮藏起来。

决策二：用检索增强把答案锚定到可信文档（丁2）。 让模型"先查后说"：检索真实资料，答案里带引用链接，用户一点就能验证。这把"它说"变成"资料说、它转述"，责任链条清晰。关键判断：检索到的内容要原样可查，别只给模型总结后的结论——总结那一步正是幻觉最易滋生的地方。

决策三：用工具调用替代"凭记忆猜"（丁3）。 凡是要精确的事（算数、查实时价、读数据库），别让模型"凭分布答"，而让它调用工具——搜索、计算器、接口。把"生成"和"查证"分工：模型负责组织语言，工具负责给事实。我会这样选：任何涉及数字、时效、内部数据的回答，强制走工具，禁止模型凭空作答。

决策四：高风险场景必须人在回路。 法律、医疗、财务这类错一次代价巨大的场景，模型的输出只能做"建议"，最终判断留人。不让模型直接触发真实动作（如自动发律师函、自动下单）。这是底线设计，不是可选项。

决策五：把"幻觉率"当成上线指标来测、来监控。 不同场景容忍度不同：闲聊可以松，医疗要严。上线前用基准和自有样本测幻觉率，线上持续抽样评估。设阈值，超阈值告警。真实项目里我把"幻觉率"和准确率、延迟并列，进发布门禁。

决策六：产品定位——"帮写"不"替写"。 最根本的定位：模型是最强的草稿与协作者，不是权威来源。把它放在"人写、它辅助"的工作流里（拟初稿、给选项、做校对），而非"它写、人照抄"。我的立场：凡是把模型输出直接交付给终端用户、又没标"需核实"的地方，都埋着信任风险——这个定位错了，再多技术也救不回。

（三根神经回扣）本讲主神经是"表示"——流畅不等于真实，正是表示空间只编码"顺"不编码"真"的后果（甲1）。它也回扣"对齐"：对齐的副作用（奖励有用流畅）反而鼓励编（丙5），说明对齐与可靠性是两件事。"泛化"神经在此是警示——模型把"流畅编造"也泛化到了新上下文，所以幻觉无处不在。三条神经在幻觉这里合成一个结论：可靠性不是模型自带的，是产品用架构与人在回路"借"来的。

六、承前启后：丙组收官，一句话带走

（综合判断）这一讲把幻觉连根拔起：它不是 bug，是"预测下一个 token"这种生成方式的天生代价，六条根源叠加——机制只求流畅、数据本有错、表示不分真假、暴露偏差累积、知识有截止、对齐副作用鼓励编。它不能被"修好"，只能被"围堵"与"人机协同"。

（丙组收官）丙组六讲，把大模型这条线的原理与脾气讲完了：丙1 讲清机制——一切都是预测下一个 token；丙2 讲清能力从哪来——规模定律与涌现；丙3 讲清能力怎么被唤醒——上下文学习；丙4 讲清模型怎么被造出来——训练三阶段；丙5 讲清它想做什么——对齐问题；丙6 讲清它哪里不靠谱——幻觉的根源。六讲串起一句话：一个"接话程序"如何长成今天这样，又在哪里必然失手。

（下一讲方向）原理与脾气讲完，下一站是丁组——怎么把这个"有脾气"的模型，变成真正可用的产品能力：提示工程、检索增强、工具调用、智能体、多模态，以及一张"什么时候用什么"的选型地图。

（一句带走）幻觉不是 bug，是"预测下一个 token"这种生成方式的天生代价——你不能用它当百科全书，而要用它当需要被校验的协作者。