P17 失败回流与回归闭环¶
Release Candidate 1
主要章节:第10、12章
Context¶
生产不断出现离线集未覆盖的失败。
Problem¶
评估集静态会与真实分布脱节。
Forces¶
- 质量与正确性;
- 延迟与成本;
- 安全与合规;
- 运维与可恢复性。
Solution¶
Consequences¶
收益¶
评估随真实风险演进。
代价¶
标签、隐私和去重需要治理。
Failure Modes¶
直接把原对话加入Prompt或训练;只收成功样本。
Implementation Sketch¶
实现时使用类型化输入输出,记录版本、来源和Trace;权限、预算和终止由确定性代码执行。
Evidence¶
- 蓝皮书章节:第10、12章;
- 实验卡:按具体实现绑定,不以代码存在替代运行证据;
- 外部标准:涉及协议或安全标准时在发布前核验版本与日期。
Exit Criteria¶
失败不能合法保留时使用合成复现。
Checklist¶
- [ ] 问题与作用力真实存在。
- [ ] 有更简单方案基线。
- [ ] 失败模式可测试。
- [ ] 权限、预算和恢复已定义。
- [ ] 收益覆盖新增复杂度。