标注指南与边界案例
本节目标
写出陌生标注者也能按顺序执行的决策规则，用正反例、边界例、弃权与升级机制把歧义显式化并版本化。
指南的最小结构
- 任务目的与非目标。
- 标注单元和可见上下文。
- 每个标签的定义、正例、反例。
- 按顺序执行的决策树。
- 边界情况、冲突规则、弃权/排除条件。
- 理由或证据填写要求。
- 隐私、安全与升级渠道。
- 指南版本和生效日期。
定义应描述可观察行为，而不是人格判断。“回答很差”不可复核；“声称已调用工具，但轨迹中没有该调用”可复核。
决策树示例
样本是否完整且在范围内？否 → exclude
是否存在会导致危险动作的建议？是 → unsafe
关键结论是否被给定证据支持？否 → not_helpful
是否完成用户明确要求？否 → not_helpful
否则 → helpful
证据不足 → cannot_judge优先级必须明确，否则同一回答既“不完整”又“不安全”时会出现随意选择。
用试标发现指南缺口
先抽取覆盖常见、长尾、困难和潜在风险的小批样本，让至少两人独立标注。讨论冲突时不要只统一答案，要更新定义、例子或升级规则。版本升级后，记录哪些旧标签需要重标。
指南变更要有 changelog：变更原因、受影响标签/样本、是否向后兼容、生效批次和重标范围。不能在同一批次中途静默修改规则后继续合并结果。
防止例子变成关键词规则
正反例用于解释边界，不应让标注者只找关键词。例子应成对覆盖：同一关键词在不同上下文为何不同；同一标签有哪些不同表达。
练习
为“工具调用是否合理”写三个正例、三个反例和三个边界例。每例必须写出证据和决策路径，而不只给标签。
掌握检查
- 我的指南包含目的、非目标、单元、上下文、标签、决策树、证据、弃权和升级渠道。
- 每个标签都有成对的正例/反例与至少一个边界例，而不是关键词清单。
- 我能通过独立试标定位规则缺口，并把冲突转成 changelog。
- 我不会在批次中途无版本地修改指南或覆盖旧标签。
下一步：标注流程与数据格式。
参考资料
资料核验日期：2026-07-22。Label Studio 的项目设置页面已调整；本节保留工具配置与独立版本化指南的边界，具体界面以当前官方文档和小样本往返验证为准。