第 19 章 · 换个场景再走一遍
关于这一章
上一章那个竞品洞察智能体,走完了完整四周。你可能会想:那套方法,换个八竿子打不着的场景还灵吗?
这一章就换一个——某家 SaaS 公司的「知识库 + 客服工单分流」智能体:客户来的问题,能查知识库自动答的直接答,答不了的自动分派给对的人工组。表面看,这和「盯竞品」毫无关系。但我要带你看的,恰恰是同一套交付节奏,在不同场景下哪些照搬、哪些必须改。
我不再逐日记流水账(那上一章讲透了),而是压缩成四周骨架,把笔墨全花在取舍不同的地方——因为真正考验 FDE 的,从来不是套流程,而是在关键岔路口做对选择。
场景背景:一家 SaaS 公司,客服每天几百个工单,一半是重复问题(「怎么导出数据」「密码怎么改」),另一半得转给技术、账务、售后不同的组。现在全靠客服人肉判断、手动转派,又慢又常转错。他们的原话:「能不能让 AI 先答一遍、答不了的帮我们分对组?」
四周骨架(与上一章同构)
节奏和竞品案例几乎一样,证明这套骨架是可复制的:
| 周 | 目标 | 与上一章的对应 |
|---|---|---|
| Week 0 | 需求共创,填场景卡、画介入点图 | 同构 |
| Week 1 | 快验:知识库问答 + 工单分类先跑通丑版本 | 同构 |
| Week 2 | 评估对齐:凑 Golden Dataset、定验收线、首轮跑分 | 同构 |
| Week 3 | 迭代收敛:补齐、按失败样本调、达验收线 | 同构 |
| Week 4 | 上线门禁 + 交接说明 + 五分钟路演 | 同构 |
骨架照搬。但一走进细节,三个关键决策就和上一章分道扬镳了。
岔路一:数据来源——从「公开」变「内部敏感」
竞品案例的数据是公开竞品页面 + 授权评论,主要合规风险是「采集频率别越界」。这个案例反过来:数据是内部知识库文档 + 真实客户工单,里面全是客户账号、联系方式、业务数据——PII(个人敏感信息)是主战场。
这个不同,逼出一连串不同动作:
- Week 0 填场景卡时,「数据来源」栏的重点不是「够不够」,而是「碰了哪些敏感字段、能不能脱敏」。
- RAG 检索知识库时,要确认返回的内容不会把 A 客户的信息泄给 B 客户(多租户隔离,竞品案例根本不涉及)。
- 上线门禁(第 20 章)里,竞品案例勾的是「采集合规」,这里勾的是「PII 脱敏 + 租户隔离」。
📎 竞品案例不太碰的多租户与安全隔离,在这个场景是硬指标,工程实现见 Harness Agent Book · 第 28 章。
知识库本身也要体检。很多客服问答项目不是死在 RAG 技术,而是死在知识库质量:
| 问题 | 现场表现 | FDE 动作 |
|---|---|---|
| 过期文档 | 旧价格、旧政策还在被检索 | 文档版本和生效日期入库 |
| 重复冲突 | 两篇文档对同一问题说法不同 | AIBP 指定权威来源 |
| 权限混杂 | 内部处理手册被客户答案引用 | 按角色拆知识库权限 |
| 无出处 | 答案看似正确但找不到来源 | 无出处不自动答 |
| 颗粒度太粗 | 一篇长文命中,答案却不具体 | 按 FAQ / SOP 步骤重整 |
岔路二:人审点——从「要不要报」变「敢不敢自动答」
竞品案例的人审门,插在「风险预警是否上报」——因为误报一次会吓到运营,所以让人拍板要不要推送。
这个案例的人审门,插的位置完全不同:在「AI 到底敢不敢直接把答案发给客户」。因为一旦 AI 自动回了个错答案给真实客户,那是对外事故,比内部误报严重得多。于是我们做了两道设计:
- 知识库问答:只有置信度足够高、且答案能给出知识库出处的,才自动回;否则转人工。宁可多转人工,不可乱答客户。
- 工单分类:AI 只做「分派建议」,低置信度的工单标记「待人工确认组别」,不硬分。分错组的代价(客户被踢皮球)也不小。
同样是「设人审」,竞品案例是「怕假警报」,这里是「怕对外答错」——人审门插哪儿,取决于哪种错的代价最疼。 这是 FDE 每个项目都要重新判断的事。
工单分流还要看错分代价:
| 错分方向 | 业务后果 | 处理策略 |
|---|---|---|
| 技术问题错到售后 | 客户被来回转,响应变慢 | 低把握时给 2 个候选组,不自动派单 |
| 账务问题错到技术 | 涉及金额,客户信任受损 | 账务类必须人工确认 |
| 售后问题错到客服一线 | 工单被重复解释,解决不了 | 增加 SOP 检索和转派规则 |
| 高优先级工单被判普通 | SLA 违约 | 高风险关键词强规则兜底 |
岔路三:验收指标——从「命中率」变「引用可信度」
指标也得跟着场景换。竞品案例最看重风险预警命中率(别漏掉集中差评);这个案例最看重的是引用可信度——答案有没有可核对的知识库出处。因为知识库问答最怕「一本正经地编」,而防编的办法就是「无出处不作答」。
| 维度 | 竞品洞察(ch18) | 知识库+工单(本章) |
|---|---|---|
| 核心指标 | 风险预警命中率、分类准确率 | 引用可信度、分派准确率、自动答复采纳率 |
| 高风险样本 | 要立即上报的安全隐患差评 | 会误导客户的高频问题、易分错组的工单 |
| 判定方式 | 聚类对不对(规则+人审) | 出处对不对(规则)+ 答复质量(人审抽样) |
样本还是四类(典型/边界/失败/高风险),但每一类装的东西,都是这个场景特有的。
交付包:七成照搬,三成重填
四周走完,回头看交付包——和上一章那套,七成可以直接复用:
| 交付物 | 复用程度 | 要重填的部分 |
|---|---|---|
| 场景卡(附录 A) | 结构照搬 | 数据栏(PII)、边界栏 |
| AI 介入点图(附录 B) | 结构照搬 | 人审门位置(挪到「对外答复」) |
| 技术架构图(附录 C) | 分层照搬 | 加多租户隔离层 |
| Golden Dataset(附录 D) | 四类框架照搬 | 全部样本换成本场景的 |
| 30 天计划(附录 E) | 完全照搬 | 几乎不用改 |
| 门禁清单(附录 F) | 清单照搬 | 勾选项从「采集合规」转向「PII 脱敏」 |
这就是「可复制交付包」的真正含义:你复用的不是内容,是结构和方法。 换个项目,骨架、清单、节奏、四类样本的框架原封不动;要重填的,只是具体的业务口径、样本、指标和人审位置——而这三成,正是靠 FDE 的判断力现场决定的。跑过一遍竞品案例,这一遍你会明显更快。
两类项目的架构差异,可以这样看:
| 层 | 竞品洞察 | 知识库 + 工单 |
|---|---|---|
| 数据层 | 公开页面 + 授权评论 | 内部知识库 + 客户工单 + 租户数据 |
| 核心能力 | 聚类、情绪、周报、预警 | RAG、引用校验、工单分类、转派建议 |
| 人审点 | 风险预警是否推送 | 是否自动答复客户、是否自动派单 |
| 最高风险 | 误报/漏报运营风险 | PII 泄露、串租户、对外错答 |
| 门禁重点 | 采集合规、频率控制 | 脱敏、权限隔离、出处可信 |
常见坑
- 把上一个项目的取舍照抄过来。 人审门、指标、数据策略都是场景相关的,照搬公开数据的合规思路来做内部敏感数据,必出事。
- 以为「换场景=从零开始」。 丢掉可复用的七成,每次重造轮子,越做越慢。
- 指标不换,套旧的。 拿竞品案例的「命中率」硬套问答场景,测不出「乱编」这个真问题。
- 忽略多租户隔离。 内部数据场景没做租户隔离,一次串号就是重大事故。
本章产出
往交付包里放一份「场景迁移对照表」:
挑一个和你主案例不同的新场景,列出三件事各自怎么变:数据来源(合规重点变没变?)、人审点(最疼的错换了没?)、验收指标(核心指标该换成什么?);再标出你的交付包里哪些能照搬、哪些要重填。这张表,是你把「一次交付」变成「一套可复制能力」的凭证。模板全部沿用 附录 A–附录 F。
成熟度自检
- [ ] 我能把一套交付节奏迁移到全新场景,并复用七成交付包(→ L4)
- [ ] 我能在新场景里重新判断数据策略、人审点与核心指标,而非照搬旧项目(→ 巩固 L4)