质量、安全与成本信号
本节目标
在可用性和延迟之外，为AI应用建立任务质量、安全结果、成本和观测完整性信号，并区分真值、代理指标与未知。
“服务成功”的多层含义
一次请求可以同时是：HTTP 200，格式合法，内容错误，工具产生了副作用，且费用超过预算。因此不要用一个success=true压平所有语义。
| 层级 | 例子 | 数据时效 |
|---|---|---|
| 技术 | 非超时、非5xx、schema合法 | 通常即时 |
| 过程 | 检索有证据、工具参数合法、循环未超上限 | 即时或短延迟 |
| 任务质量 | 分类正确、答案有据、任务完成 | 可即时，也可数天后才有真值 |
| 安全/权限 | 没有越权、泄露、高损失副作用 | 检测可即时，完整调查常延迟 |
| 业务结果 | 用户未重开工单、决策被采纳、没有撤销 | 常有延迟并受外部因素影响 |
对每层单独记录状态和证据来源。不要在真值尚未回流时将未知填成成功。
质量信号的层级
- 确定性检查：输出schema、数值范围、引用ID存在、必需工具是否被调用。
- 代理信号：用户重试/撤销、人工接管、检索无结果、规则冲突。它们快，但不是真值。
- 自动评分：任务函数或版本化评分器。必须记评分器版本并与人工判断校准。
- 人工审核：抽样、专家审查和争议复审。需报告抽样规则和一致性，不能将审核子集默认为全量代表。
- 延迟真值：用稳定实体ID将后到结果与当时release、输入快照和预测关联。
每个质量曲线都应同时显示分母、标签覆盖率和新鲜度。“质量90%”如果只覆盖了5%且都是容易样本，证据很弱。
安全信号的分母和覆盖
安全事件数为零可能有三种解释：真的未发生、检测没有覆盖，或观测管线丢失。因此至少报告：
- 政策拒绝/通过/检查失败数，按策略版本和任务类型分组；
- 经审计确认的越权、泄露、提示注入成功或高损失副作用；
- 安全检查覆盖的请求比例、失败开放/关闭（fail-open/fail-closed）状态；
- 人工复审样本量、等待时间与结论修订率；
- 严重事件的从发生到检测、从检测到遏制时间。
不在Metric label中保存原始攻击文本或用户信息。需要调查的证据应受访问控制、脱敏、有保留期并可审计。
成本是流量和结构的函数
单看总费用会把“用户变多”与“单任务失控”混在一起。建议并列：
- 总费用或估算费用，按项目、release和任务类型归属；
- 每请求、每成功任务与每业务结果费用；
- 输入、缓存读/写、输出token分布；
- 模型、检索、工具和重试的调用次数；
- 价格表版本、币种、折扣/合同假设与估算/账单区分。
在账单未到前，token与价格表得到的是估算值，应明确标注，不声称与实际账单完全一致。
LLM与Agent运行信号
在不记录敏感内容的前提下，可把下列字段纳入版本化的事件或Trace契约：
| 类别 | 受控信号 | 能回答的问题 |
|---|---|---|
| 发布身份 | provider、model snapshot、release/Prompt/策略版本 | 哪个发布单元改变了行为？ |
| 模型用量 | 模型调用数、输入/输出token、缓存token（供应商实际提供时） | 成本或延迟是由流量还是单任务结构推动？ |
| Agent过程 | 步数、工具调用/失败、循环终止原因、人工接管 | 是否出现重试风暴或失控循环？ |
| RAG/工具 | 检索、重排、模型、工具、策略检查span与状态 | 时间和错误发生在哪个阶段？ |
| 结果 | 技术状态、质量状态及覆盖率、安全状态及覆盖率、估算成本 | HTTP成功是否掩盖任务失败？ |
字段必须来自当前SDK/供应商实际返回或团队自有契约，缺失值要保留为未知，不能补成零。OpenTelemetry语义约定按具体组件和信号声明稳定性；截至2026-07-21，核心语义约定页为1.43.0，生成式AI约定已迁移至独立仓库。使用时固定实际修订和schema/契约标识，按所用组件核对稳定性并写契约测试；不要把核心页版本或尚在变化的字段名写成跨系统永久事实。发布清单或gate的完整SHA-256同样只适合作为Trace/受控审计字段，不能进入Metric label。
监控完整性是一等信号
下列缺失可让一切质量和安全曲线显得“更好”：
- Trace或Log导出失败；
- 安全分类器超时后系统fail-open；
- 真值回流作业停止；
- 新release未携带版本字段；
- 数据口径改变但Dashboard未标注。
因此同时监控事件数、版本字段完整率、Trace传播率、标签覆盖与采集端到端延迟。采集器最近一次成功导出不能代替业务事件时龄；两者分别反映传输链是否活着、被观察业务流是否仍在前进。
练习与自测
为“RAG客服Agent”设计一个信号表，每类至少两项：技术、过程、质量、安全、成本和观测完整性。对每项标注分母、时效、真值/代理、切片和负责人。回答：
- 为什么无安全违规记录不足以证明无安全问题？
- 为什么任务成功率必须与标签覆盖率一起读？
- 总费用增长时，如何区分流量增长、模型切换、输出变长和重试风暴？
小结与下一步
AI运行不是单一可用性曲线，而是多维证据与未知项的组合。哪些信号值得叫醒人，由 告警设计与值班运行 进一步设计。
参考资料
- OpenAI Evaluation best practices（访问于2026-07-21；任务特定评测与人工校准）
- NIST AI RMF: Generative AI Profile（访问于2026-07-21）
- OpenTelemetry Generative AI semantic conventions（访问于2026-07-21；核心页面说明内容已迁移且旧位置不再维护）
- OpenTelemetry GenAI semantic conventions repository（访问于2026-07-21；固定实际修订/schema URL并按所用组件核对稳定性）
- OpenTelemetry Handling sensitive data（访问于2026-07-21）