模型监控、漂移与反馈
本节目标
建立从服务健康到真实模型效果的分层监控，并正确解释漂移信号。
四层观察面
- 系统层：可用性、错误、延迟、吞吐、CPU/内存和队列积压；
- 数据层：schema、缺失、范围、类别、重复、时效和特征计算失败；
- 模型层：预测分布、置信度、拒绝率、关键切片、版本间差异；
- 结果层：有标签性能、业务成本、人工覆核和用户反馈。
系统健康但模型错误是常见故障。例如服务始终返回 200，但某上游字段被填成默认值，预测会稳定而错误。
三个容易混淆的概念
设输入为 ，标签为 ：
- 数据漂移（data drift）： 发生变化；
- 标签漂移（label drift）： 发生变化；
- 概念漂移（concept drift）：输入与结果的关系 发生变化。
只观察输入无法直接证明概念漂移。即使检测到数据漂移，模型质量也可能不变；反过来，输入边际分布变化不明显时，条件关系仍可能改变。漂移应被当作调查信号，而不是自动再训练的充分理由。
没有即时标签怎么办
很多任务的真实标签会延迟数天或数月。可分两条路径：
- 快速代理信号：数据质量、预测分布、人工覆核、用户撤销、规则冲突；
- 延迟真值回填：用稳定实体 ID 将后到标签与当时的模型、特征和预测关联，再计算真实切片指标。
代理信号帮助早发现异常，但必须标明它不是最终质量。真值回填时要防止只收集“容易获得的标签”，否则监控样本本身会偏。
切片优先于平均值
整体指标可能掩盖：
- 新地区或新设备表现下降；
- 小流量高风险用户被平均掉；
- 某版本上游数据只影响一部分请求；
- 标签覆盖率在不同群体之间不一致。
切片必须与业务风险相关，并控制数量。无限组合维度会导致统计不稳定和高基数成本。先定义关键切片，再为探索性分析保留原始、经脱敏的离线证据。
从观测到发布动作需要完整分母
线上门禁不能只保存一个比例。关键切片召回率=0.80 若只来自 5 个已标注样本，与来自 500 个样本不是同等证据；标签覆盖率=80% 也可能来自一个过小窗口。一次可审查的扩大或回滚判断至少绑定：固定 release/制品、候选门证据、shadow 或 Canary 阶段、总样本、有标签样本、关键切片样本、标签年龄、采集完整性与策略版本。
证据不足时，合理动作是保持范围或调查，而不是把“暂未观察到失败”当成成功。固定历史参考能发现明显变化，却不能排除时间、流量组成或外部环境的共同变化；要声称候选造成改善，需同期 control、稳定分配或其他符合问题的实验设计。可运行的简化边界见 离线模型晋级项目与自测；带同期 control 的更严格复合发布示例见 LLMOps 离线发布门项目。
漂移检测如何落地
一个基本流程：
- 选择可信参考窗口和当前窗口；
- 检查采集、schema、时区和版本是否一致；
- 对数值、类别或嵌入选择合适统计量；
- 用历史正常波动校准阈值；
- 结合样本量和多重比较解释结果；
- 告警后核查质量、业务活动和数据管线；
- 记录结论：数据问题、真实变化、无影响变化或证据不足。
ADWIN 等方法可以检测时间变化，但任何检测器都有假阳性、检测延迟和假设条件。不要把算法名称当成结论。
反馈闭环的风险
模型影响决策后，后续数据会被模型改变。例如只调查高分样本，就更容易获得这些样本的标签。再训练数据因此带有选择偏差。记录“为何获得标签”、保留随机抽样或受控探索，并让人工反馈有清晰定义。
练习与自测
为一个工单优先级模型列出四层信号，各选两个。解释：
- 输入长度突然增加，能否断定质量下降？
- 只有被人工接管的工单有真值，会产生什么偏差？
- 为什么漂移阈值应从本系统历史波动和风险校准，而不是复制固定数值？
小结与下一步
监控提供证据，不替你做因果判断。出现异常后，需要选择回滚、修复数据、调整规则或再训练，见 故障、回滚与再训练决策。信号采集、SLO 和告警的系统做法见 运行监控。
参考资料
- Google SRE：Service Level Objectives（核对于 2026-07-14）
- Learning from Time-Changing Data with Adaptive Windowing（Bifet 与 Gavaldà 原始论文；核对于 2026-07-14）