LLMOps

知识库简介

LLMOps 是让大语言模型（Large Language Model, LLM）应用可评测、可发布、可追溯、可观测和可回滚的工程实践。它运维的不只是模型文件，而是一个复合应用：应用代码、API/SDK 契约、Prompt、上下文组装、检索快照、模型与参数、工具、路由、数据与安全策略、评测器以及价格口径的组合。

可以把最小闭环记成：

固定发布清单 → 离线评测门 → 人工审批 → Canary
      ↑                                  ↓
回归集与策略更新 ← 线上观察/反馈 ← 降级、回滚或继续

本库关注“如何用证据控制一次 LLM 应用变更”。具体 Prompt 写法见提示词工程，检索原理见 RAG，通用模型训练、注册表和部署管线见 MLOps。

在总路线中的位置

LLMOps 位于“能调用 LLM”与“能长期运行 LLM 应用”之间。建议在掌握 LLM API 集成、Prompt、上下文、RAG、Tool Calling、基本 MLOps，并完成评测体系后学习；至少要能定义目标、构造数据集并设置发布门。之后继续进入运行监控，并把 AI 安全和 AI 治理接入同一证据链。

学习目标

完成后，你应能：

定义 LLM 应用的完整发布单元，从线上输出反查所有关键版本；
用网关集中实施认证、限流、超时、重试、路由和费用归属；
在质量、延迟、成本和数据边界之间做有证据的缓存与路由决策；
串联模型、检索和工具调用 Trace，同时限制敏感内容暴露；
把回归集、确定性检查、模型评分、人工评审和统计不确定性组成发布门；
识别供应商错误、API 变化和行为漂移，并只切换到预先验证的降级路径；
设计 Canary、人工审批、回滚、事故取证和复盘流程。

前置知识

能用 Python 3 读写 JSON，理解 HTTP、API key 占位符、超时和错误处理；
知道 Prompt、token、上下文窗口、Embedding、RAG 和 Tool Calling 是什么；
理解 Git commit、不可变版本、离线评测和渐进发布的基本概念；
不要求有云平台或 Kubernetes 经验。

动手实践与项目入口

主项目见离线发布门项目与自测。项目只使用 Python 标准库，拒绝重复 JSON 字段、原始无效 UTF-8、不能稳定编码为 UTF-8 标量序列的 surrogate 和无法表示为有限 float 的数值，将 eval artifact 与 subject release 绑定，先验证 baseline/candidate 的比较契约，再用完整candidate_gate_evidence_sha256、仅供展示的短指纹、promoted_at、固定 decision_as_of 和同期 control 绑定 Canary 窗口。artifact_digest_format与观察 bundle 的evidence_digest_format共同声明本仓库版本化的本地教学字节 profile；bundle schema/profile 也进入每个在线决策的完整摘要，不把它误作签名或通用 canonical JSON。在线质量、安全结果使用可校验的整数分子/分母推导，分母为零明确是未知；自动降级还必须匹配 gate 已绑定的降级发布身份与完整摘要、拥有充分的 candidate 当前窗口证据，并拒绝自引用、已知循环或已知未通过的 fallback candidate。74 项测试覆盖错绑、完整摘要篡改、格式错配、schema/profile 绑定、发布前/未来窗口、降级证据绕过、比例门上界、分子分母一致性、fixture/CLI 中证据不足时禁止自动降级、标签覆盖与 INCOMPARABLE。观察可转成 continue、investigate、pause、fallback、rollback 或 human_review。

发布报告可复用实际生成的 Agent 评测看板的数据—脚本—PNG—替代文本闭环，但发布门仍以原始 trial、切片和 gate 为准，不能从图中反推或手改数据。

在 Windows 11 + PowerShell 7 中可直接运行；如需隔离解释器，把虚拟环境放到 vault 外：

$venv = Join-Path $env:TEMP "llmops-learning-venv" # 使用系统临时目录保存隔离环境，避免污染 vault。
python -m venv $venv # 创建本项目所需的标准库 Python 环境。
& "$venv\Scripts\Activate.ps1" # 激活该环境，固定后续 python/pip 的解释器来源。
python -m pip --version # 仅核验 pip 与解释器可用，不安装任何包。
python ".\Knowledge\AI Agent Engineer\docs\LLMOps\03-项目与自测\examples\release_gate.py" audit --release-id release-safe --observation-id obs-healthy # 联合审计固定候选与健康观察，验证离线证据绑定。

本项目没有第三方依赖，因此无需安装包。不要在知识库中创建 .venv，也不要写入真实密钥。

掌握标准

能为一次线上回答列出代码、API、Prompt、上下文、检索、模型、工具、策略、评测、路由和价格口径版本；
能区分限流、并发控制、超时、重试、熔断、降级和容量预留；
能说明前缀缓存、精确答案缓存和语义缓存的不同风险；
能用 Trace 定位是模型、检索、工具还是重试导致延迟与成本异常；
能用回归集和发布门阻止重要任务、安全切片或费用回归；
能为 Canary 写出扩大、暂停、降级和回滚条件，并处理标签延迟；
能解释为什么供应商漂移不能触发未经验证的自动换模；
能运行普通、-O、warnings-as-errors 和 -O + warnings-as-errors 测试并解释每个阻断理由。

与其他知识库的关系

MLOps：提供通用的追溯、评测门、发布与回滚思想；LLMOps 将发布单元扩展到 LLM 复合应用。
运行监控：负责 Logs、Metrics、Traces、SLI/SLO 和告警平台；LLMOps 规定哪些 LLM 版本和质量证据必须进入观察面，且完整证据摘要只能作为Trace/Log或受控审计字段，不能成为Metric label。
评测体系：设计样本、指标和评分器；LLMOps 负责把它们版本化并接入发布和持续评测。线上异常要先进入受控人工分诊，不能自动改写冻结评测集，见离线到线上证据交接与回归闭环。
AI安全与 AI治理：定义威胁、审批、审计和责任边界；LLMOps 把这些约束落到门禁、运行手册和证据链。

版本与来源说明

本页路线、离线项目证据与以下外部资料复核于 2026-07-22。供应商 API、模型别名、价格、产品界面和保留能力都可能变化；生产实施必须重新核对当日文档与合同。本库引用 OpenAI 仅作为供应商实例，不代表通用 LLMOps 必须绑定某一平台。

OpenAI 官方文档当前明确标注旧 Evals/Graders 产品处于弃用迁移期，因此本库只采用“任务特定评测、持续评测、人工校准、固定评分器版本”等工程原则，不把旧产品接口写成长期稳定依赖。MLflow当前文档也明确区分经典ML的mlflow.models.evaluate()/EvaluationMetric和GenAI的mlflow.genai.evaluate()/Scorer，两套对象不可互操作。OpenTelemetry核心语义约定页当前为1.43.0，GenAI约定已迁移到独立仓库；接入时应固定实际修订/schema URL，并按所用信号和组件的稳定性做兼容测试，而不是套用核心页版本号。

主要参考资料

OpenAI Production best practices：密钥、环境隔离、配额、扩缩容、延迟和费用的官方入口。
OpenAI Prompt caching：前缀命中和缓存用量；具体条件按模型与日期核验。
OpenAI Evaluation best practices：任务特定评测、真实分布、持续评测和人工校准。
OpenAI Trace grading：对 Agent 端到端 Trace 的结构化评分思路。
OpenAI Data controls：端点级存储、滥用监控与客户资格差异；不能概括成“所有请求都零保留”。
MLflow for GenAI applications：生产 Trace、反馈、评测数据集和版本比较的闭环示例。
MLflow Evaluation APIs：经典ML与GenAI评测对象、指标和旧API迁移边界。
OpenTelemetry GenAI semantic conventions repository：GenAI 语义约定的当前官方仓库与 schema URL。
NIST AI 600-1: Generative AI Profile：生成式 AI 全生命周期风险管理资料。
NIST SP 800-61 Rev. 3：将事故响应纳入组织风险管理的官方建议。

AI Agent Engineer

账户与学习进度

标记这门课程

LLMOps 学习目录