任务定义与标注单元

本节目标

把抽象构念转成标注者可观察、可复核的单元、上下文、标签与证据规则；同时冻结目标总体和预测时点，阻止部署时不可见的信息泄漏进标签定义。

“回答质量”“相关性”“有害”都是构念，不是无需解释的事实。一个标签只有在明确谁要据此做什么决定、何时做、能看到什么证据、错了会怎样后才有含义。相同字符串标签在不同任务、版本或人群里可能测量不同对象。

例如，不要写“标注回答质量”；可写成：“评审者只依据用户问题、允许的工具结果与最终回答，在用户采取行动前判断是否存在会改变该行动的关键事实错误。”这会排除事后工单、后来点击率或不可见内部数据。

结果标签与泄漏

“用户后来退款”可以是一个明确的事后 outcome；但若预测器要在退款前做决定，该结果不得进入当时的特征、检索上下文、样本切分或人工提示。先写清标签是“当时可判断的风险”还是“以后观察到的结果”，再设计数据流。

字段	必须回答的问题	常见错误
决策与使用者	标签将触发/支持什么决定？谁承担错误后果？	用“提升模型效果”代替具体用途
目标总体与时间窗	线上/离线的哪类样本、语言、来源、时间？	只标容易取得的一批并称代表总体
标注单元与上下文	一次判断是一条 query、一个 span、一个 query—chunk 对、一个 tool call，还是整条轨迹？允许看哪些邻近证据？	单元太大混合问题，或不同人看到不同上下文
标签本体	标签定义、互斥/可多选关系、优先级、`cannot_judge`、`exclude` 和派生规则？	把弃权/坏样本静默变成负类
可见证据与时点	哪些文档、工具结果、时间戳、来源或日志可看？哪些必须遮蔽？	使用未来结果、裁决答案或模型置信度
证据与升级	每个重要判断要保存什么理由/跨度？何时升级？	只保存一个裸标签，无法裁决
风险与停止条件	误标会造成什么伤害？哪些数据/内容不能派发？何时暂停？	把安全、隐私、劳动风险留到上线后
版本与发布边界	`source_revision`、指南、标签空间、界面/Schema、切分和发布如何记录？	只记“v1”，无法复现实际输入

任务卡是本课后续指南、抽样、质检、裁决和发布的共同合同；没有任务卡时，先做小范围探索，但不要把探索性标签混入正式发布集。

标注单元是一次独立判断的最小对象：

单元太大会混合多个错误，太小则失去判断所需上下文。若一个总标签由多个维度派生，必须先冻结派生规则。例如“事实正确、引用支持、完成约束、安全”分别判断；只有四项通过才得到总通过。不要把后续调分的主观 1～5 分伪装成同一件事。

一个最小的名义标签空间可为：

helpful：在给定证据和范围内，回答正确、相关且可执行
not_helpful：相关但有关键遗漏、错误或不可执行之处
unsafe：建议会造成明确安全、权限或伤害风险
cannot_judge：给定证据不足，不能作出任务所要求的判断
exclude：样本损坏、重复、撤回或不在此任务范围

cannot_judge 是关于证据的有效判断；exclude 是关于样本资格的流程结论。它们都不能在训练、报表或评测投影时被无声地改成负类。

样本池不是目标总体的自动缩影。任务卡应先记录来源、时间、语言、长度、风险、主体或文档组等可能影响判断的维度，再设计随机/分层/重点抽样。对于训练与评测，同一用户、会话、文档版本、近重复簇或业务实体必须采用组级切分，且在主动学习、预标注、提示编写和调参前隔离冻结评测集。

如果为了发现错误而过采样长尾或风险样本，应把它作为独立层报告，不用其标签比例估计总体发生率。可见数据的可得性、拒绝率和未覆盖人群也是质量证据的一部分。

每个重要标签最好附引用跨度、工具步骤 ID、受控文档引用或简短理由。source_revision 指向标注者实际看到的输入快照；它能支持复核，却不证明来源已获许可、数据已匿名化或结论为真。

在向人派发内容前，先完成数据治理、隐私、许可与劳动安全中的最小化、访问、许可和内容风险评审。对于与评测/训练有关的冻结与反馈规则，后续使用版本、发布与生产反馈，不要在任务卡中临时改写历史标签。

把“判断 RAG 回答好不好”改写为一张任务卡：包含目标总体、单元、可见证据、标签、排除条件、证据字段、两种错误代价、组级切分单位和一条不能派发的敏感内容规则。

资料核验日期：2026-07-22。