事件响应与复盘
本节目标
将告警或外部报告转换为有指挥、时间线、用户保护、证据保全、恢复验证和持续改进的事件响应流程。
告警、事件与问题的区别
- 告警：某条规则指出可能需要行动的状态；它可能是真实事件，也可能是噪声或观测故障。
- 事件（incident）：服务偏离预期并对用户、数据、安全或业务造成/威胁明显影响，需要受控响应。
- 问题（problem）：需要长期根因修复的情况；事件恢复后仍可保留问题跟踪。
运行响应的首要目标是限制损害和恢复可接受服务，不是在压力下立即得到完美根因。
事件分级
严重度应基于：
- 受影响用户/租户、任务和地区范围；
- 可用性、延迟、质量、安全、隐私、费用与合规后果；
- 是否持续扩大，是否可逆；
- 是否有安全降级或人工替代；
- 可靠证据是否缺失。
分级不应只看请求数。一个低流量的越权写操作可能比大量可重试的短暂5xx更严重。分级规范需要业务、安全、法务/合规和工程共同定义，教程不能提供通用阈值。
关键角色
| 角色 | 职责 |
|---|---|
| 事件指挥者 | 设目标、分工、控制风险与升级，不被单条诊断线索吸走 |
| 运营/技术负责人 | 实施遏制、诊断、修复和恢复验证 |
| 记录员 | 保留带时间和证据链接的决策/事件时间线 |
| 沟通负责人 | 向内部与受影响方发布准确、有节奏的更新 |
| 专项专家 | 安全、隐私、模型、供应商或业务专家，按需加入 |
小团队可一人兼任多角，但职责仍应显式。同一人一边做高风险改动、一边记时间线和对外沟通，容易丢失重要证据。
响应流程
1. 声明与建立共享状态
记录声明时间、已知影响、严重度、指挥者、沟通渠道和下次更新时间。把“已证实”、“正在验证的假设”和“尚未知道”分开。
2. 遏制
停止发布、切换可信release、禁用高风险工具、限流、转人工或隔离受影响数据。遏制可以降低功能，但需确认降级不会创造更大安全风险。
3. 保留证据与评估范围
冻结release/配置/策略版本、监控查询与脱敏Trace样本，记录时钟、时区、采样和数据延迟。安全事件的证据保全、访问和对外通知必须按组织法律/安全流程，不由教程擅自定义。
4. 诊断与修复
使用版本差异、SLI分解、Trace和对照实验验证假设。不要在线上同时改多个无关变量，否则即使指标恢复也不知道是什么起作用。
5. 恢复与验证
用用户SLI、任务质量/安全样本、数据完整性、副作用审计和外部黑盒测试验证。观测管线本身也必须恢复，否则“指标正常”可能只是没数据。逐步恢复流量，而不从全降级立即跳回全量。
恢复不等于关闭
服务曲线恢复只说明当前症状缓解。关闭事件前还应记录：恢复观察窗口与证据覆盖、仍未修复的用户/数据副作用、残余风险及临时控制、每个长期行动项的所有者和期限，以及何种信号会重新打开事件。若重复订单已停止但历史重复订单尚未回滚，事件可以退出紧急响应，却不能把用户损害记为已解决。
行动项要回流到开发和运行系统：确定性缺陷进入回归评测，观测盲区进入遥测契约，无法行动的告警进入规则修订，操作缺口进入runbook与演练。完成项应由验收证据关闭，不以“代码已合并”代替生产或受控环境验证。
事件沟通
每次更新应包含：已知影响，当前遏制/恢复状态，用户可采取的动作（如有），下次更新时间。不在证据不足时猜根因，也不用“已完全修复”代替恢复验证。对安全、隐私和合规事件，遵循专门的通知与审批流程。
无责复盘与可验证行动项
复盘包含：
- 用户影响和证据边界；
- 带链接的时间线；
- 根因、促成因素与未解决疑点；
- 为何测试、Canary、SLI、告警或runbook未防止/缩短事件；
- 遏制与恢复中哪些有效，哪些增加了风险；
- 有所有者、时限和验收证据的行动项。
“为写工具添加幂等契约测试，并在故障演练中证明重试不重复写入”是可验收行动；“以后注意”不是。无责不等于没有所有者和责任边界。
演练与持续准备
定期演练供应商不可用、观测中断、工具重复写入、数据契约破坏和费用爆发。演练需避免真实副作用，使用沙箱、模拟或受控故障注入，并评估发现、声明、遏制、沟通和恢复各环节。
练习与自测
情景：在线Agent的工具成功率正常，但用户报告同一订单被重复创建；此时Trace完整率降到40%。写出事件分级所需事实、前30分钟行动、证据保全和恢复验证。回答：
- 为什么工具“成功”指标正常不能排除事故？
- 为什么Trace丢失本身会提高事件不确定性和风险？
- 如何验证已创建的重复订单被处置，而不只是新重复停止？
小结与下一步
事件响应将监控信号转成用户保护与学习闭环。现在用 离线监控审计项目与自测 练习从原始事件计算可解释信号。
参考资料
- NIST SP 800-61 Rev. 3（发布于2025-04，访问于2026-07-21；当前NIST事件响应资源）
- Google SRE: Managing Incidents（访问于2026-07-21）
- Google SRE: Postmortem Culture（访问于2026-07-21）