AI Agent Engineer

AI Agent Engineer

2026-07-22 第二十一阶段深度学习、语音、数据标注与厂商 API 合同深审记录

12 min read

2026-07-22 第二十一阶段深度学习、语音、数据标注与厂商 API 合同深审记录

阶段结论

本阶段把“动态厂商接口、人工标注、训练候选与语音 I/O”收敛到同一条可追溯证据链：文档快照与真实运行分开；输入快照、标注/训练候选与发布物分开；本地操作、供应商诊断与对象授权分开；计划、生成、播放与发布分开。学习者不再会因一个模型名、一个 request_id、一条授权引用、一次 kappa 计算或一次离线脚本通过，就误把它们当作可生产执行、已获 ACL、已批准发布或真实媒体质量的证明。

覆盖 厂商 AI API 参考、数据标注、深度学习工程实践与现代化路线、语音识别 与 语音合成。

本阶段不证明什么

离线 JSON/SSML/转录/训练夹具、静态语法、页面链接和 Quartz 构建证明当前教学合同的一致性；它们不证明任何真实供应商账户、模型可用性或价格、真实音频解码/识别/自然度、人物身份、声音许可、对象级 ACL 后端、生产审批、模型质量、数据代表性、劳动/隐私/法律结论或外部系统 receipt 已经验证。

多 Agent 分工与主 Agent 复核

  1. 主 Agent：逐页核验厂商 API 参考的官方入口、模型/SDK/结构化输出边界，并统一 provider_request_id、本地 operation_id、授权和 outcome 的术语。
  2. 数据标注专项：只处理数据标注目录、项目与新增治理/发布页；主 Agent 保留其余开始前已有的章节改动。
  3. 深度学习专项：只处理深度学习高风险入口、原创工程路线、零依赖审计器和精确发布策略；冻结 D2L 参考正文继续 fail-closed。
  4. 语音专项：分别审 ASR 与 TTS 的媒体格式、修订、评测、流式状态、声音风险和离线项目。
  5. 独立只读整合审阅：检查学习顺序、链接、来源日期、ID、审批、ACL 和公开边界；发现的问题均由主 Agent 或原专项进行窄修并复核。

开始时已存在且未归入本阶段的改动为：数据标注第 02–04 页、ASR 第 04–05 页、TTS 的 SSML 页。深度学习发布策略修复期间还发现 .website 已存在独立的 LangChain 图片白名单改动；本阶段保留它，不把它计入本阶段结论。

关键改动

厂商 API：动态参考不等于可运行合同

  • 目录新增最低 provider contract，明确“OpenAI 兼容”只复用部分请求/响应外形；模型、流事件、工具、结构化输出、数据保留、重试和权限仍须逐厂商验证。
  • 各页记录自己的 source_checked 和来源基线；目录不再把 OpenAI 2026-07-20 的独立页面核验混写为 2026-07-22 的全量核验。
  • 修正可影响调用的事实：Cohere v2 的 json_schema 字段与 response_format 组合限制、Kimi K2.6 的显式关闭思考写法和当前不建议作为新依赖的 web_search、GLM 的当前 glm-5.2/glm-5v-turbo 教学基线，以及 DeepSeek 旧模型的已公告弃用窗口。
  • 明确 Anthropic 的 canonical pinned model ID、Gemini API family、Mistral SDK 主入口、xAI cache key 等均不是跨厂商语义；缓存键、provider 请求 ID、业务幂等与身份授权不得互相替代。

数据标注：先治理，再把观察变成可发布证据

  • 学习顺序现要求完成任务卡后、在接触真实数据或人员前先完成最小治理门；随后才进入指南、流程、质检和主动学习。
  • 新增治理/隐私/许可/劳动安全与版本/发布/生产反馈两页，分开 sample_id、source_revision、annotation_id、final_label 和 release_id，并将撤回、tombstone、冻结集和生产反馈放进受控链路。
  • 离线审计器严格拒绝重复 JSON key、非标准常量、版本混合、非配对双标、输入快照不一致与无证据记录；它只测量教学 batch 的一致率/kappa/冲突，不替代裁决、代表性、许可或隐私结论。

深度学习：训练候选不能提前伪装成发布物

  • 新增原创工程路线页，将 Agent/RAG/Embedding/多模态所需的张量、泛化、数值稳定性、Transformer、优化和训练系统内容重排为按目标学习的路径，并增加生命周期 Mermaid 图与跨课程链接。
  • 新增零依赖训练运行审计器：检查 split 泄漏、测试集选模、缺失谱系、NaN/Inf 和可变候选别名。通用指标只要求有限数值，不再错误拒绝 loss 或 perplexity。
  • 训练记录现在使用 candidate_id；release_id 只在质量、治理和人工门通过后的外部发布记录中产生。这样训练候选、数据标注 release 与 TTS 的 planned/playable/released 状态不会混淆。
  • 深度学习冻结树只精确公开两个既有入口、原创路线页和两份离线示例。其余 140 页 D2L 参考仍保持可追溯的本地参考/stub，不因改 frontmatter 或目录前缀而放宽。

语音：媒体结果、授权和发布各有独立状态

  • ASR 补齐资产格式/时间基准、source_revision、已提交 transcript revision、空参考 WER/CER、匿名说话人、流式/批处理和隐私删除的边界；离线项目升级为 schema 1.1，仍不读取真实音频或运行模型。
  • TTS 补齐声音目录版本、语言—声音—用途匹配、SSML 安全、未知终态、撤销边界、质量/披露与声音克隆风险。离线项目只形成不回显原文/完整 SSML 的计划，绝不生成音频。
  • TTS 将本地去重和计划关联字段统一为 operation_id；真实供应商响应才可产生并单独记录 provider_request_id。acl_reference 仅是结构关联，真实对象级 ACL 必须由外部身份/授权系统在生成、读取、发布前判断。

跨课程术语与状态边界

术语本阶段稳定含义不可错误替代
provider_request_id某个供应商请求/响应的诊断关联证据本地幂等、业务意图、用户身份或授权决定
operation_id本地稳定业务操作/计划项的去重与关联键供应商回执、对象 ACL 或最终 outcome
source_revision人或模型实际看到的受控输入快照来源许可、内容真实性、当前访问授权
candidate_id等待质量/治理/人工门审查的训练候选已批准的 release_id 或生产发布
release_id带 manifest、用途和 gate 的可追溯发布物线上永久代表性、模型已遗忘或业务成功
acl_reference指向待由授权系统判定的对象/范围已认证主体、对象级 allow/deny 决定或同意证据
annotation_id / final_label一次初标观察 / 既定流程后的裁决标签彼此、输入快照或下游投影规则

来源、原创与第三方材料边界

本阶段新增中文解释、流程图、教学代码、夹具和测试均为原创；厂商文档、规范与论文只用于核验动态事实和术语，未复制无明确再分发条件的正文。代表性一手来源包括：

验证证据

检查结果
深度学习训练审计器8 项测试，normal、-O、warnings-as-errors、-O + warnings-as-errors 全通过
数据标注审计器12 项测试，同四种模式全通过
ASR 离线评估69 项测试，同四种模式全通过
TTS 离线合成计划73 项测试，同四种模式全通过
统一项目回归162 项/模式，四种模式共 648 次测试执行全通过
静态检查8 个 Python 文件 AST、厂商 API 的 96 段 Python fenced code、相关 JSON/Markdown 语义与范围 git diff --check 通过
跨课程只读复核五个范围的正文 wikilink/embed 均可解析；未留下 P1/P2 术语、学习顺序或公开边界问题

后续队列

  1. 对目标账户、地域、精确 SDK/模型版本运行低风险、非敏感的供应商集成测试；动态 API 笔记的静态核验不能替代真实调用、成本、限流或数据保留验证。
  2. 将离线 ASR/TTS/标注/训练合同接入受控真实系统后，再验证音频/模型质量、身份、对象 ACL、声音/数据授权、审批、receipt 和删除/撤回传播。
  3. 逐章复核深度学习其余 D2L 历史 notebook 的当前框架、设备与依赖可运行性；它们目前是冻结参考快照，不是已验证的现代训练实践。
  4. 在 Obsidian 桌面端抽查新增 Mermaid、长表与 callout 的阅读体验；Quartz 构建不能替代本地交互/渲染检查。

本记录只覆盖第二十一阶段，不表示长期 /goal 已完成。

Backlinks