任务类型与完整流程
本节目标
能把一句模糊的“用 AI 解决它”改写成可训练、可评估的机器学习任务。
从样本、特征和标签开始
一条样本是一次可独立观察的对象，例如一张工单、一段查询或一次 Agent 运行。**特征（feature）**是预测时允许模型看到的信息；**标签（label/target）**是希望模型学会预测的答案。
例：把客服工单分到退款、技术故障、账号问题。每条工单是样本，文本是特征，人工确认的类别是标签。预测时拿不到的信息不能放进特征，例如“处理完成后的结果”。
先判断任务类型
| 问题 | 输出 | 典型任务 | Agent 工程例子 |
|---|---|---|---|
| 属于哪个有限类别 | 离散类别 | 分类 | 意图路由、越权风险识别 |
| 数值是多少 | 连续数值 | 回归 | 预计延迟、任务成本预测 |
| 哪些样本相似 | 群组或距离 | 聚类 | 失败日志主题发现 |
| 用更少维度保留结构 | 低维向量 | 降维 | Embedding 可视化、噪声压缩 |
监督学习需要带答案的样本；无监督学习没有目标标签，模型只利用数据结构。聚类得到的是算法分组，不自动等于真实业务类别。
一个完整流程
- 定义决策：预测结果由谁在什么时刻使用，错误会造成什么代价。
- 定义样本与标签：明确一行是什么、标签何时产生、是否可重复判断。
- 建立数据边界：先划分训练、验证、测试，再拟合预处理步骤。
- 建立简单基线：分类可从多数类、规则或线性模型开始。
- 训练与验证：只用训练数据拟合，用验证结果选择方案。
- 锁定后测试：测试集用于一次接近真实上线的估计，不能反复调参。
- 错误分析：查看假阳性、假阴性、短文本、罕见类别和漂移样本。
- 交付与监控：保存代码、依赖、特征规则、阈值和数据版本。
若预测会影响个人、资金、访问权限或安全处置，还应在第 1 步写明自动化范围、人工升级条件、可追溯记录和争议处理路径。按群体拆分指标可以发现风险候选，但本身不能证明系统“公平”或适合自动化决策。
先写“任务卡”
开始编码前填写：
决策：是否把工单自动路由到退款队列
样本：用户首次提交的一条工单
可用特征：提交时的标题和正文
标签：最终由人工确认的目标队列
主要错误：把非退款工单送进退款队列（假阳性）
离线指标：退款类 precision、recall、混淆矩阵
上线兜底：低置信度交人工，不自动执行退款任务卡还应注明：哪些敏感字段在预测时不应使用；若为了合规审查或风险测量必须处理某类属性，谁有权访问、用途是什么、保存多久。这些是具体场景的治理问题，不是一个分类指标能够自动回答的问题。
常见错误
- 从模型名出发：先决定“用 XGBoost/LLM”，再找问题，会忽略决策约束。
- 标签含糊：两个标注者对定义理解不同，模型上限会被标签噪声限制。
- 把相关当因果：预测模型发现共现关系，不证明改变特征会改变结果。
- 离线指标代替产品效果：高 F1 不代表端到端任务成功、低成本或安全。
练习与自测
任选一个 Agent 场景，写一张任务卡并回答：
- 预测发生时哪些字段已经可用？
- 最昂贵的是假阳性还是假阴性？
- 标签由谁确认，争议如何裁决？
- 一个规则基线是什么？
下一步：数据划分与数据泄漏。
参考资料
核验日期：2026-07-22。