运行监控学习目录

运行监控

知识库简介

运行监控让团队知道服务是否满足用户期望，并在延迟、错误、质量、安全或成本异常时快速定位、遏制和学习。**监控（monitoring）**通常针对预先定义的信号和条件；**可观测性（observability）**更强调通过系统输出回答事先未枚举的问题。两者都依赖有意义的仪器化、语义和运行流程。

本库聚焦Logs、Metrics、Traces、仪器化与上下文传播、SLI/SLO、质量/安全/成本信号、告警、Dashboard、漂移取证和事件响应。它不代替 MLOps 的模型生命周期或 LLMOps 的LLM发布单元与评测门；也不重新定义 评测体系 中的评分器，而是监控这些线上信号的覆盖率、趋势和行动边界。

在总路线中的位置

运行监控位于“已部署”与“可靠运营”之间。建议先理解API、JSON、日志、模型/LLM调用链和基本评测，再学习本库。后续可将运行证据用于评测体系、Benchmark设计、AI安全和AI治理。

学习目标

完成后，你应能：

• 区分Log、Metric和Trace适合回答的问题，并用ID、资源属性和时间关联它们；
• 设计自动/手工仪器化、W3C Trace Context传播和Collector流水线，并监控遥测链自身；
• 从用户期望定义SLI、SLO、统计窗口和错误预算；
• 用RED、USE和黄金信号组织服务与资源症状，正确解释直方图、百分位、采样和高基数；
• 将可用性、尾延迟与AI任务质量、安全、费用和标签覆盖率组成监控面；
• 设计可操作、可抑制、有runbook和明确所有者的告警；
• 用概览—下钻—证据链设计Dashboard，避免为好看堆积图表；
• 正确解释漂移、标签延迟、采样和缺失信号；
• 执行事件分级、遏制、取证、恢复与复盘闭环。

前置知识

• 能用Python 3读写JSON，理解平均数、百分位、比率和时间窗口；
• 知道HTTP状态码、请求ID、超时、重试和批处理任务；
• 对模型版本、RAG、Tool Calling和LLM token/费用有概念；
• 不要求先安装Prometheus、OpenTelemetry或云监控平台。

推荐学习顺序

1. Logs、Metrics 与 Traces：先理解三类信号的取舍与关联。
2. 仪器化、Collector 与关联：让遥测跨HTTP、异步任务和工具边界仍可关联、可治理。
3. SLI、SLO 与错误预算：从用户期望选信号和目标。
4. 质量、安全与成本信号：让“HTTP 200”之外的AI失败可见。
5. 告警设计与值班运行：只将需要行动的症状送给正确的人。
6. Dashboard 与诊断视图：建立从用户影响到单次Trace的下钻路径。
7. 漂移、反馈与标签延迟：将分布变化当作调查起点，而不是自动根因。
8. 事件响应与复盘：在压力下保护用户、保留证据并验证恢复。
9. 离线监控审计项目与自测：验证结构化事件、Trace、RED/USE、SLO、错误预算和多窗口告警。

动手实践与项目入口

主项目见 离线监控审计项目与自测。它仅用Python标准库，严格验证小型JSON事件、Trace和release evidence契约，并把原始无效 UTF-8、不能稳定编码为 UTF-8 标量序列的 surrogate、以及无法表示为有限 float 的数字转为受控错误；使用显式window_end计算RED/USE、SLI、p95、坏事件比例与错误预算燃烧率（不把燃烧率误称为剩余预算），并将业务事件时龄与Collector导出时龄分开检查。release evidence 还显式声明所接收 candidate gate 摘要的教学格式；异常窗口只生成不含原文、等待人工分诊的回归候选，不自动改写冻结评测集。45项测试覆盖这些边界。所有ID和阈值都是离线教学数据，不需要网络、第三方包或密钥。

掌握标准

• 能为一次慢请求从Metric下钻到Trace和结构化Log；
• 能解释W3C Trace Context、Collector流水线、语义约定稳定性、采样与基数的边界；
• 能写出包含事件定义、好事件条件、窗口和数据来源的SLI；
• 能区分技术成功、任务质量、安全结果、成本和观测完整性；
• 能让告警具有用户影响、严重级别、所有者、runbook、抑制和恢复条件；
• 能解释采样、高基数、标签延迟和代理指标造成的证据限制；
• 能从事件复盘产生新告警、回归样本、runbook和演练；
• 能在Windows 11/PowerShell 7中运行离线项目及45项测试，并说明为什么每个阈值只是本地教学策略。

与其他知识库的关系

• MLOps：使用运行信号判断模型漂移、发布和再训练；本库聚焦信号语义、SLO、告警和事件流程。
• LLMOps：定义LLM发布单元、Trace元数据和Canary决策；本库提供通用可观测性和响应方法。
• 评测体系定义任务质量和评分器；运行监控追踪线上覆盖、趋势与失败样本，并只输出待人工分诊的候选，不自动写回冻结评测集。跨阶段交接的完整字段、摘要与人工分诊边界见 离线到线上证据交接与回归闭环。
• AI安全定义威胁和控制；运行监控只对可观测的安全症状、覆盖率与响应进行工程化。

主要参考资料

以下官方或原始资料均核对于2026-07-22。标准稳定性、工具语法与支持状态可能变化，实施时应锁定版本并重新核对。OpenTelemetry核心语义约定页当前为1.43.0，生成式AI约定已迁移到独立仓库；生产契约应固定所用仓库修订、schema URL或等价契约版本，并按实际使用的信号与组件判断稳定性、做兼容性测试，不能把核心页版本号当作当前GenAI字段版本。

• OpenTelemetry Observability primer：可观测性、可靠性和信号基础。
• OpenTelemetry Signals：Logs、Metrics和Traces的官方入口。
• OpenTelemetry Collector Architecture：Receiver、Processor与Exporter流水线。
• OpenTelemetry Versioning and stability：按组件判断稳定性。
• OpenTelemetry Generative AI semantic conventions：核心页面中的迁移说明。
• OpenTelemetry GenAI semantic conventions repository：当前独立规范仓库；实施时固定具体修订。
• W3C Trace Context：跨服务传播Trace上下文的标准。
• Google SRE: Service Level Objectives：从用户行为选择SLI/SLO和错误预算。
• Google SRE: Monitoring Distributed Systems：延迟、流量、错误和饱和度等基础方法。
• Google SRE Workbook: Alerting on SLOs：错误预算燃烧率与多窗口告警。
• Prometheus Alerting practices：症状导向、可操作性和监控自监控。
• NIST SP 800-61 Rev. 3：事件响应与风险管理的当前NIST资源。