跳转至

P17 失败回流与回归闭环

Release Candidate 1

主要章节:第10、12章

Context

生产不断出现离线集未覆盖的失败。

Problem

评估集静态会与真实分布脱节。

Forces

  • 质量与正确性;
  • 延迟与成本;
  • 安全与合规;
  • 运维与可恢复性。

Solution

脱敏生产失败→首错归因→最小回归任务→候选修复→离线验证→灰度→继续监控。

Consequences

收益

评估随真实风险演进。

代价

标签、隐私和去重需要治理。

Failure Modes

直接把原对话加入Prompt或训练;只收成功样本。

Implementation Sketch

实现时使用类型化输入输出,记录版本、来源和Trace;权限、预算和终止由确定性代码执行。

Evidence

  • 蓝皮书章节:第10、12章;
  • 实验卡:按具体实现绑定,不以代码存在替代运行证据;
  • 外部标准:涉及协议或安全标准时在发布前核验版本与日期。

Exit Criteria

失败不能合法保留时使用合成复现。

Checklist

  • [ ] 问题与作用力真实存在。
  • [ ] 有更简单方案基线。
  • [ ] 失败模式可测试。
  • [ ] 权限、预算和恢复已定义。
  • [ ] 收益覆盖新增复杂度。