漂移、反馈与标签延迟

本节目标

区分数据质量故障、输入分布变化、标签分布变化和概念漂移，并在真值延迟或只覆盖部分样本时，诚实报告当前能够证明的结论。

四种不同问题

设输入为$X$、真实结果为$Y$：

• 数据质量/契约故障：字段缺失、类型/单位变化、时区错误、重复、迟到。它可能是一个应立即修复的管线事故。
• 数据漂移（data drift）：$P(X)$变化，例如输入语言或任务类型比例变了。
• 标签漂移（label drift）：$P(Y)$变化，例如高风险工单真实比例增加。
• 概念漂移（concept drift）：$P(Y\mid X)$变化，同样输入与结果的关系改变。

只观察$X$不能证明$P(Y\mid X)$已变。数据漂移可能不影响任务质量；概念漂移也可能发生在输入边际分布看似稳定的情况。

参考窗口和当前窗口

漂移统计必须明确：

• 参考窗口为何被认为可信，对应哪release、数据口径和业务季节；
• 当前窗口的样本量、数据延迟与是否包含部分天；
• 时区、缺失值、新类别、采样和去重规则是否一致；
• 业务周期、节假日、市场活动和分流发布是否能解释变化。

“上周与这周”不一定是合理对比。年度季节、业务增长和产品变更会使固定参考快照逐渐失去代表性；更新参考需要版本化与审查，不应为让告警消失而自动替换。

类别分布的可验证示例

对有限类别，全变差距离（Total Variation Distance, TVD）可作为一个直观练习量：

$$TVD(P,Q)=\frac{1}{2}\sum _i|P_i-Q_i|$$

$TVD=0$表示两个类别比例完全相同，最大为1。例如参考意图比例为{查询: 0.7, 写入: 0.3}，当前为{查询: 0.4, 写入: 0.6}，TVD为0.3。

这只证明类别分布差异，不证明任务质量下降，也没有一个可通用的TVD阈值。阈值应用历史正常波动、样本量、多重比较和业务损失校准。

数值、文本与Embedding监控

• 数值可比较缺失率、分位数、范围、直方图或与参考的距离；
• 类别可检查新类别、头部/尾部比例和类别合并规则；
• 文本可先监控语言、长度、编码、重复、拒绝和受控任务类别，避免为便利存全量原文；
• Embedding可监控范数、与固定参考样本的距离、聚类或下游检索/任务指标。

Embedding漂移对Embedding模型、归一化、文本预处理和向量维度敏感。版本改变后的向量不应与旧参考直接比较。统计距离也不能代替检索Recall、有据性或任务成功率。

标签延迟与选择偏差

真实结果可能一周后才到。需保存当时的release、预测/行动、任务ID和标签定义版本，再做回填。同时报告：

• 已到标签的样本量/比例和延迟分布；
• 按release、任务、切片的覆盖差异；
• 是否只有被人工接管、用户投诉或被某个策略选中的样本有标签；
• 标签定义是否变化，历史标签是否被修订。

如果只调查模型标记为高风险的样本，你会更容易获得这些样本的标签；质量监控将受模型自己的选择影响。可使用受控随机抽样或独立审计来补充可见性，但必须符合隐私和业务约束。

告警后的调查顺序

1. 先验证采集、schema、时区、口径和版本是否一致；
2. 核对样本量、缺失、采样和标签覆盖；
3. 对比业务周期、release、上游变更与外部事件；
4. 同时查任务质量、安全、人工反馈和业务结果；
5. 记录结论：数据故障、可解释变化、有质量影响、暂无影响，或证据不足；
6. 将需要立即遏制的情况升级为事件，但不直接将“漂移”转换为“自动上线新模型”。

练习与自测

情景：一个工单Agent的“账号问题”输入占比翻倍，整体已标注质量不变，但标签覆盖率从60%降到20%。写出你能证明、不能证明和接下来需收集的证据。回答：

1. 为什么数据漂移不能自动证明概念漂移？
2. 为什么更新Embedding模型后不能沿用旧向量参考分布？
3. 为什么只有人工接管样本的质量曲线不能代表全体？

小结与下一步

漂移是带假设、口径和覆盖率的调查信号，不是根因或自动再训练命令。当它与用户损害、安全或重要质量退化结合时，进入 事件响应与复盘。

参考资料

• Google Rules of Machine Learning（访问于2026-07-14；生产数据、训练/服务一致与闭环的工程建议）
• Learning from Time-Changing Data with Adaptive Windowing（Bifet与Gavaldà；访问于2026-07-14；原始研究来源）
• NIST AI RMF: Generative AI Profile（访问于2026-07-14）