何时使用 AI 与系统形态选择
本节目标
学完本节,你应能从业务结果而不是热门技术出发,比较不用 AI、规则、传统机器学习、单次 LLM、固定工作流和受控 Agent,并形成一份有证据的方案选择记录。
第一步不是选模型,而是定义结果
“做一个智能客服”“加一个 Agent”都是方案口号,不是需求。先回答:
- 谁在什么情境下遇到什么问题?
- 当前流程怎样完成,成本和错误在哪里?
- 期望输出是什么,怎样判定正确?
- 哪些内容是明确非目标或禁止动作?
- 出错影响谁,是否可发现、可恢复、可申诉?
- 人在输入、审核、执行和责任上分别做什么?
把“生成高质量回复”改成“从已批准政策中生成带证据的草稿;不得承诺退款;缺证据时转人工”,才开始具备可验证边界。
先问五个是否
- 稳定规则能否解决? 文件改名、字段校验、固定金额上限通常先用规则。
- 输入是否开放多样? 只有需要语言、视觉、语音或统计推断时,模型才可能有净收益。
- 是否有代表性样例和判定标准? 无法定义对错,就无法证明系统改善。
- 错误是否可控? 不可发现、不可逆或高影响的错误,需要缩小范围、强制人工或不用 AI。
- 收益是否覆盖完整成本? 除调用费用,还包括数据、评测、监控、安全、人工复核、供应商与维护成本。
第 3 或第 4 项答不出来时,应先补需求和控制,而不是直接上线。
六种系统形态
| 形态 | 适合情况 | 优点 | 主要限制 |
|---|---|---|---|
| 不改变系统/优化流程 | 问题来自职责、界面或流程,而非信息处理能力 | 成本最低、风险最小 | 不增加自动推断能力 |
| 规则程序 | 条件稳定、结果可精确定义 | 可复现、易测试、成本低 | 难处理开放表达 |
| 传统机器学习 | 有历史样本,任务是分类、预测或排序 | 指标清楚、推理通常较轻 | 数据漂移与特征维护 |
| 单次 LLM | 总结、抽取、改写等一次语言任务 | 开发快、接口统一 | 事实性、格式和成本需验证 |
| 固定工作流 | 步骤与分支可以提前枚举 | 易审计、权限清楚 | 难适应开放路径 |
| 受控 Agent | 下一步依赖环境反馈,路径难以枚举 | 可处理动态任务 | 波动、成本与攻击面更大 |
这些形态可以组合。例如规则先做身份与字段校验,LLM 抽取候选,固定工作流调用只读 API,最后由人工批准。组合不意味着必须加入 Agent。
用自主性阶梯缩小范围
同一需求可以从低到高逐级验证:
- 只提供信息:搜索和展示来源;
- 生成草稿:人决定是否采用;
- 提出工具建议:展示参数与影响;
- 在沙箱执行:副作用可隔离和回滚;
- 低风险自动执行:白名单、限额与审计;
- 高影响动作:强制合格人员批准,或保持人工执行。
只有较低一级无法满足目标,并且新风险有证据可控时,才向上移动。自主性不是成熟度分数。
方案比较要看净价值
至少比较以下维度:
| 维度 | 问题 |
|---|---|
| 任务质量 | 相比当前流程和简单基线改善多少? |
| 覆盖与长尾 | 哪些语言、格式、用户和异常仍失败? |
| 风险 | 错误是否可见、可逆、可申诉? |
| 数据 | 是否有权使用,是否含敏感信息? |
| 权限 | 系统能读什么、写什么、代表谁行动? |
| 运行 | 延迟、可用性、限流、依赖和降级怎样? |
| 成本 | 调用、工程、人工、评测和事件成本多少? |
| 可替换性 | 供应商、模型或条款变化时能否回退? |
“模型 benchmark 更高”只回答其中很小一部分,而且通常不是在你的数据与流程上测得。
决策记录模板
问题与目标用户:
当前流程和基线:
可判定的成功/失败:
候选形态:规则 / ML / LLM / 工作流 / Agent
选择与不选择的理由:
允许输入与输出:
禁止动作和明确非目标:
主要风险与受影响者:
人工职责与申诉:
离线证据与最低门槛:
试运行范围:
回退和退出条件:
责任人、批准人、复查日期:记录“不选择 Agent,因为路径固定且写操作高风险”同样是有价值的工程决定。
示例:会议行动项助理
候选任务是从会议记录提取任务、负责人、日期和原文证据。
- 规则基线可以识别明确日期和“负责”等模式;
- 单次 LLM 可处理开放表达,但输出必须按 schema 与证据校验;
- 固定工作流可依次做分段、抽取、校验和人工确认;
- 当前没有根据中间反馈选择外部动作的必要,因此完整 Agent 增加了不必要的权限与复杂度;
- 第一版只生成草稿,不发送消息或创建任务。
选择依据不是“LLM 更聪明”,而是候选方案相对规则基线能否在真实样例上增加正确覆盖,并维持证据与人工门禁。
常见误区
| 误区 | 修正 |
|---|---|
| “AI 功能越多越有竞争力” | 只实现能产生可验证净价值的能力 |
| “先做原型,风险以后再看” | 原型阶段就定义数据、权限和禁止动作 |
| “人在环中就安全” | 人必须有时间、证据、能力和否决权 |
| “工作流不够先进” | 固定路径常比自主 Agent 更稳定、可审计 |
| “买知名供应商可转移责任” | 部署者仍需评估具体用途、集成与影响 |
练习
原始需求:“让 AI 自动看简历,挑出最优秀的人。”
- 写出至少 8 个必须澄清的问题;
- 指出受影响者和不可接受后果;
- 给出一个不用 AI 的基线;
- 把范围缩小为低风险辅助功能;
- 比较规则、LLM 摘要、固定工作流和自动排名;
- 定义人工职责、申诉和停用条件。
一个更保守的范围是:只按候选人授权提供的字段生成结构化摘要,缺失字段留空;不自动排名或淘汰;招聘人员必须查看原始材料并记录决定。这仍需验证偏差、隐私和可达性。
自测
- 为什么“使用 AI”不能作为验收标准?
- 什么情况下规则优于模型?
- 固定工作流与 Agent 的关键差别是什么?
- 自主性阶梯为什么应逐级提高?
- 供应商替换为什么属于方案选择问题?
范围与下一步
本节负责 go/no-go 之前的方案选择,不展开发布步骤。失败假设来自 能力边界与失败模式;选定范围后进入 从原型到上线与退出。
参考资料
获取日期:2026-07-22。