第 7 章 · AI 出错怎么说
老板先看这一句： AI 一定会出错，这是大模型的本性，不是 bug，也没法修没。老板要接受的不是“它永远对”，而是“它错的时候有人兜、能查、能关”。跟团队要一句承诺：危险的事 AI 不碰、没把握的转人工、关键动作必须人审、错了能回滚。这四句话给到，你才该签字放行。
一次差点谈崩的汇报
有个连锁餐饮的 CTO,项目做到一半,我去汇报进展。我如实说:「目前这个菜品咨询的自动回复,准确率大概九成出头,还有不到一成会答得不太对。」
他脸当场就沉了:「不到一成会答错?那要是告诉顾客某道菜不含花生、结果吃出过敏,这责任谁担?这东西不能上。」
那一刻我意识到,我犯了个错——不是准确率不够,而是我把一个「概率」直接甩给了一个只懂「对错」的人。 在他的世界里,系统要么对、要么坏;「九成对」这种话,等于承认「这是个会坏的系统」。
Agent 落地工程师迟早都要面对这场对话。大模型是概率性的,它一定会错,这点没法回避、也不该隐瞒。但怎么说这件事,决定了业务方是签字放行,还是当场毙掉。这一章讲的就是：怎么给一个会出错的系统，一个让业务方敢用的说法。
跨境卖家同理：把“菜品过敏原”换成“某 SKU 的海关合规与平台禁售词”，AI 会错这件事和怎么兜底，逻辑完全一样——越是合规红线多的跨境场景，人审门越不能省。
先把话说明白:AI 为什么会错
跟业务方沟通前,你自己得先能用大白话讲清 AI 出错的几种样子。别甩术语,打比方。
| 现象 | 别说术语,这么讲 |
|---|---|
| 幻觉 | 它不知道答案时不会闭嘴,会一本正经地编一个,听起来还挺像真的 |
| 不确定性 | 同一个问题问两遍,措辞可能不一样——它不是查字典,是在「说话」 |
| 置信度 | 它对每个答案其实有个「几成把握」,把握低的那些,就是最该让人看一眼的 |
讲清这三样,业务方才会明白:AI 出错不是 bug,是这类技术的天性。你没法把天性修没,只能给它配一套「兜底机制」。而兜底,恰恰是 Agent 落地工程师的看家本事。
这里要特别谨慎：很多业务系统里所谓「置信度」，并不是一个经过严格校准的真实概率。更稳妥的说法是系统把握度，它可以来自多种信号的组合：
| 信号 | 说明 |
|---|---|
| 检索信号 | 有没有命中权威知识库，出处是否一致 |
| 规则信号 | 是否命中高风险关键词、格式校验、业务规则 |
| 模型信号 | 模型自评、分类分数、多个模型是否一致 |
| 历史信号 | 类似样本过去是否经常出错 |
| 人审信号 | 业务专家是否确认过同类样本 |
所以对业务方不要承诺「低于 0.7 一定错，高于 0.9 一定对」。更好的承诺是：哪些信号不足时不自动执行，哪些动作必须人审，哪些错误能被日志和回滚兜住。
四句话让业务方安心
回到那个餐饮 CTO。我后来没再提「九成准确率」,换了个讲法,把上面那四个动作——划边界、定门槛、设人审、留回路——翻译成他能听懂的四句话:
第一句,划边界:「危险的事,我们根本不让 AI 说了算。」 涉及过敏原、忌口这类高风险问题,AI 不直接回顾客,而是提示「请咨询门店店员」。把最可怕的场景直接圈出 AI 的能力范围之外——他最担心的那颗雷,当场拆掉。
第二句,定门槛:「没把握的,它自己会转人工。」 把握低于某条线的回答,系统不发出去,转给人工。AI 不是「全都自己扛」,而是「拿不准就举手」。
第三句,设人审:「关键动作,一定有人点头才生效。」 凡是对外发送、涉及承诺的,AI 只出草稿,人确认后才发。责任始终在人手里,AI 只是加速器。
第四句,留回路:「错了跑不掉,能查、能改、能关。」 每一条都有日志,答错了能追溯、能纠正、能一键降级回人工。业务方真正怕的从来不是「会错」,而是「错了无人知晓、无法挽回」。
四句话说完,那位 CTO 的原话是:「这样我能接受——反正危险的它不碰,拿不准的有人看,出事能关掉。」准确率一个数没变,但项目活了。
给高层讲的三条话术
跟不懂技术的高层沟通,有三个原则,反着来往往能救场。
- 别报纯准确率,报「兜底后的净风险」。 不说「95% 准」,说「高风险场景 100% 走人审,剩下的错了也能当天回滚」。高层要的是风险可控,不是模型指标。
- 用「员工」类比,别用「机器」类比。 「它像个刚入职、手脚快但需要老员工带的实习生」——高层天然懂怎么管实习生:重要的事复核、放权有边界。这比讲「置信度阈值」有效十倍。
- 主动讲最坏情况和预案,别等对方问。 你先把「万一出事怎么办」摆上桌,对方反而放心;藏着掖着等他问出来,信任就崩了。
📍 场景示例：老陈问「这客服 AI 准不准」，差点被毙
老陈听说要给 FR/ES/JP 客服上 AI，第一反应是：“它万一答错禁售词、把 CE 标错，链接下架谁担？” 和那位餐饮 CTO 一样——他只懂“对错”，听不得“九成准”。FDE 没再报准确率，换了四句话：危险的事（对外承诺/合规词）AI 不碰、没把握的转人工、对外发送必人审、错了有日志能回滚。老陈原话：“这样我能接受。”
| 维度 | 只报准确率 | 四句话兜底 |
|---|---|---|
| 高危场景 | 含糊带过 | 100% 走人审 |
| 没把握 | 照发 | 转人工 |
| 出错后 | 怕担责叫停 | 能查、能改、能关 |
老板决策点： 别让团队只报“95% 准”就放行，要的是“兜底后的净风险”——高危场景是否 100% 走人审、错了能否当天回滚。 ——对应 → L3
常见坑
- 只报准确率,不讲兜底。 把概率甩给只懂对错的人,项目当场被毙。
- 过度承诺「不会错」。 为了签单说 AI 很靠谱,上线一出错,信任血本无归。
- 满嘴术语。 幻觉、置信度、阈值糊一脸,业务方听不懂只能拒绝。
- 把人审当临时妥协。 觉得「等模型准了就撤掉人审」——高风险场景的人审是长期设计,不是过渡。
本章产出
老板行动点： 别让团队只报“95% 准”就放行。你要的是“兜底后的净风险”：高危场景是否 100% 走人审、错了能否当天回滚。高风险场景的人审是长期设计，不是等模型准了就撤。
往交付包里放一份「AI 预期管理说明」(一页纸,给业务方和高层看):
针对你的场景,用四句话写清:哪些事 AI 不碰(边界)、什么情况转人工(门槛)、哪些动作必须人审、错了怎么发现和回滚(回路);再附一句给高层的「兜底后净风险」表述。这张纸,是你向业务方要签字、向高层要预算时最管用的沟通物。人审边界与门禁细节,可对照 附录 F。
成熟度自检
- [ ] 我能用大白话向业务方讲清 AI 为什么会错,而不吓跑他(→ L2)
- [ ] 我能把「划边界/定门槛/设人审/留回路」翻译成业务方听得懂的承诺(→ 迈向 L3)