附录 F：上线门禁 / 回滚 / 审计清单
老板怎么用： 这是 PoC 能否进真实业务的「一票否决」门，也是给采购和安全团队的合规证明。上线前可要求团队逐项打勾门禁——缺项的坚决不上，避免带病上线引发数据泄露或对外事故。
PoC 跑得好，不等于能上线。进入真实业务前，必须过这道门。门禁没过，一票否决。 这份清单同时是给采购和安全团队看的合规证明。
📎 技术深读：沙箱隔离、多租户、可观测性的工程实现，见 Harness Agent Book · 附录 E 与 Part 8。本附录给 Agent 落地工程师视角的交付门禁清单。
上线门禁清单（逐项打勾，缺项不上线）
数据与权限
- [ ] 数据来源合法（公开 / 授权），无越权采集
- [ ] 采集频率受控，不绕过平台访问限制
- [ ] 不采集 / 不落地个人敏感信息（PII），或已脱敏
- [ ] 权限边界明确：谁能看什么、能做什么
- [ ] 高风险动作均设人工确认门（对外发布 / 扣款 / 删除）
质量与评估
- [ ] Golden Dataset 四类样本齐全（典型 / 边界 / 失败 / 高风险）
- [ ] 达到约定验收指标，且有回归门禁
- [ ] 高风险场景保留人工复核，未全交给 LLM-as-Judge
可观测与成本
- [ ] 有审计日志：谁在什么时候让 AI 做了什么
- [ ] 有成本监控：token / 算力 / 调用量可见
- [ ] 有失败可观测：工具调用失败率、超时、异常告警
可恢复
- [ ] 有回滚方案（见下）
- [ ] 有降级策略（AI 不可用时业务能继续）
- [ ] 关键路径有超时与重试上限
- [ ] 已做过至少一次回滚 / 降级演练
交接
- [ ] 有运维手册、培训手册
- [ ] AIBP / 业务方知道出问题找谁、怎么关
- [ ] 业务方已独立完成一次配置变更并通过回归
回滚方案模板
| 项 | 内容 |
|---|---|
| 触发条件 | 什么信号出现就回滚（如准确率跌破阈值、成本超预算、投诉激增） |
| 回滚动作 | 关开关 / 切回人工 / 回退到上一版本 |
| 负责人 | 谁有权按下回滚 |
| 恢复标准 | 修好什么才重新上线 |
| 通知对象 | 回滚后要通知谁 |
| 演练记录 | 何时演练、谁参与、是否成功 |
审计日志字段建议
| 字段 | 说明 |
|---|---|
| 时间 | 操作时间戳 |
| 用户 / 租户 | 谁触发的 |
| 输入摘要 | 请求内容（脱敏） |
| AI 输出摘要 | 返回内容 |
| 工具调用 | 调了哪些工具、成功与否 |
| 人审结果 | 是否经人确认、谁确认 |
| 成本 | 本次 token / 费用 |
| trace_id | 串起一次完整请求的唯一 ID |
| 模型版本 | 使用的模型名称与版本 |
| Prompt 版本 | 使用的 Prompt / Skill / 规则版本 |
| 知识库版本 | 检索文档或向量库版本 |
事故分级建议
| 级别 | 示例 | 处理 |
|---|---|---|
| P0 | 数据泄露、错误扣款、重大对外事故 | 立即回滚，通知 Sponsor / 安全 / 法务 |
| P1 | 高风险样本漏报、客户投诉明显增加 | 降级到人审，24 小时内复盘 |
| P2 | 准确率退化、成本异常、部分工具失败 | 暂停相关能力，进入修复队列 |
| P3 | 文案瑕疵、低风险分类错误 | 进入变更池，按周迭代 |
本模板对应正文：第 23 章「上线前的那道门」、第 24 章（交接自主运营）。