第 19 章 · 换个场景再走一遍

关于这一章

上一章那个竞品洞察智能体,走完了完整四周。你可能会想:那套方法,换个八竿子打不着的场景还灵吗?

这一章就换一个——某家 SaaS 公司的「知识库 + 客服工单分流」智能体:客户来的问题,能查知识库自动答的直接答,答不了的自动分派给对的人工组。表面看,这和「盯竞品」毫无关系。但我要带你看的,恰恰是同一套交付节奏,在不同场景下哪些照搬、哪些必须改。

我不再逐日记流水账(那上一章讲透了),而是压缩成四周骨架,把笔墨全花在取舍不同的地方——因为真正考验 FDE 的,从来不是套流程,而是在关键岔路口做对选择。

场景背景:一家 SaaS 公司,客服每天几百个工单,一半是重复问题(「怎么导出数据」「密码怎么改」),另一半得转给技术、账务、售后不同的组。现在全靠客服人肉判断、手动转派,又慢又常转错。他们的原话:「能不能让 AI 先答一遍、答不了的帮我们分对组?」

四周骨架(与上一章同构)

节奏和竞品案例几乎一样,证明这套骨架是可复制的:

周目标与上一章的对应
Week 0需求共创,填场景卡、画介入点图同构
Week 1快验:知识库问答 + 工单分类先跑通丑版本同构
Week 2评估对齐:凑 Golden Dataset、定验收线、首轮跑分同构
Week 3迭代收敛:补齐、按失败样本调、达验收线同构
Week 4上线门禁 + 交接说明 + 五分钟路演同构

骨架照搬。但一走进细节,三个关键决策就和上一章分道扬镳了。

岔路一:数据来源——从「公开」变「内部敏感」

竞品案例的数据是公开竞品页面 + 授权评论,主要合规风险是「采集频率别越界」。这个案例反过来:数据是内部知识库文档 + 真实客户工单,里面全是客户账号、联系方式、业务数据——PII(个人敏感信息)是主战场。

这个不同,逼出一连串不同动作:

  • Week 0 填场景卡时,「数据来源」栏的重点不是「够不够」,而是「碰了哪些敏感字段、能不能脱敏」。
  • RAG 检索知识库时,要确认返回的内容不会把 A 客户的信息泄给 B 客户(多租户隔离,竞品案例根本不涉及)。
  • 上线门禁(第 20 章)里,竞品案例勾的是「采集合规」,这里勾的是「PII 脱敏 + 租户隔离」。

📎 竞品案例不太碰的多租户与安全隔离,在这个场景是硬指标,工程实现见 Harness Agent Book · 第 28 章。

知识库本身也要体检。很多客服问答项目不是死在 RAG 技术,而是死在知识库质量:

问题现场表现FDE 动作
过期文档旧价格、旧政策还在被检索文档版本和生效日期入库
重复冲突两篇文档对同一问题说法不同AIBP 指定权威来源
权限混杂内部处理手册被客户答案引用按角色拆知识库权限
无出处答案看似正确但找不到来源无出处不自动答
颗粒度太粗一篇长文命中,答案却不具体按 FAQ / SOP 步骤重整

岔路二:人审点——从「要不要报」变「敢不敢自动答」

竞品案例的人审门,插在「风险预警是否上报」——因为误报一次会吓到运营,所以让人拍板要不要推送。

这个案例的人审门,插的位置完全不同:在「AI 到底敢不敢直接把答案发给客户」。因为一旦 AI 自动回了个错答案给真实客户,那是对外事故,比内部误报严重得多。于是我们做了两道设计:

  • 知识库问答:只有置信度足够高、且答案能给出知识库出处的,才自动回;否则转人工。宁可多转人工,不可乱答客户。
  • 工单分类:AI 只做「分派建议」,低置信度的工单标记「待人工确认组别」,不硬分。分错组的代价(客户被踢皮球)也不小。

同样是「设人审」,竞品案例是「怕假警报」,这里是「怕对外答错」——人审门插哪儿,取决于哪种错的代价最疼。 这是 FDE 每个项目都要重新判断的事。

工单分流还要看错分代价:

错分方向业务后果处理策略
技术问题错到售后客户被来回转,响应变慢低把握时给 2 个候选组,不自动派单
账务问题错到技术涉及金额,客户信任受损账务类必须人工确认
售后问题错到客服一线工单被重复解释,解决不了增加 SOP 检索和转派规则
高优先级工单被判普通SLA 违约高风险关键词强规则兜底

岔路三:验收指标——从「命中率」变「引用可信度」

指标也得跟着场景换。竞品案例最看重风险预警命中率(别漏掉集中差评);这个案例最看重的是引用可信度——答案有没有可核对的知识库出处。因为知识库问答最怕「一本正经地编」,而防编的办法就是「无出处不作答」。

维度竞品洞察(ch18)知识库+工单(本章)
核心指标风险预警命中率、分类准确率引用可信度、分派准确率、自动答复采纳率
高风险样本要立即上报的安全隐患差评会误导客户的高频问题、易分错组的工单
判定方式聚类对不对(规则+人审)出处对不对(规则)+ 答复质量(人审抽样)

样本还是四类(典型/边界/失败/高风险),但每一类装的东西,都是这个场景特有的。

交付包:七成照搬,三成重填

四周走完,回头看交付包——和上一章那套,七成可以直接复用:

交付物复用程度要重填的部分
场景卡(附录 A)结构照搬数据栏(PII)、边界栏
AI 介入点图(附录 B)结构照搬人审门位置(挪到「对外答复」)
技术架构图(附录 C)分层照搬加多租户隔离层
Golden Dataset(附录 D)四类框架照搬全部样本换成本场景的
30 天计划(附录 E)完全照搬几乎不用改
门禁清单(附录 F)清单照搬勾选项从「采集合规」转向「PII 脱敏」

这就是「可复制交付包」的真正含义:你复用的不是内容,是结构和方法。 换个项目,骨架、清单、节奏、四类样本的框架原封不动;要重填的,只是具体的业务口径、样本、指标和人审位置——而这三成,正是靠 FDE 的判断力现场决定的。跑过一遍竞品案例,这一遍你会明显更快。

两类项目的架构差异,可以这样看:

层竞品洞察知识库 + 工单
数据层公开页面 + 授权评论内部知识库 + 客户工单 + 租户数据
核心能力聚类、情绪、周报、预警RAG、引用校验、工单分类、转派建议
人审点风险预警是否推送是否自动答复客户、是否自动派单
最高风险误报/漏报运营风险PII 泄露、串租户、对外错答
门禁重点采集合规、频率控制脱敏、权限隔离、出处可信

常见坑

  • 把上一个项目的取舍照抄过来。 人审门、指标、数据策略都是场景相关的,照搬公开数据的合规思路来做内部敏感数据,必出事。
  • 以为「换场景=从零开始」。 丢掉可复用的七成,每次重造轮子,越做越慢。
  • 指标不换,套旧的。 拿竞品案例的「命中率」硬套问答场景,测不出「乱编」这个真问题。
  • 忽略多租户隔离。 内部数据场景没做租户隔离,一次串号就是重大事故。

本章产出

往交付包里放一份「场景迁移对照表」:

挑一个和你主案例不同的新场景,列出三件事各自怎么变:数据来源(合规重点变没变?)、人审点(最疼的错换了没?)、验收指标(核心指标该换成什么?);再标出你的交付包里哪些能照搬、哪些要重填。这张表,是你把「一次交付」变成「一套可复制能力」的凭证。模板全部沿用 附录 A–附录 F。

成熟度自检

  • [ ] 我能把一套交付节奏迁移到全新场景,并复用七成交付包(→ L4)
  • [ ] 我能在新场景里重新判断数据策略、人审点与核心指标,而非照搬旧项目(→ 巩固 L4)