风险分级与影响评估
本节目标
用“系统在具体情境中可能对谁造成什么影响”决定审查深度，并形成可复查的影响评估。模型能力相同，不代表用途风险相同：生成会议摘要与决定福利资格的错误后果不可等量齐观。
分级不是法律分类
内部风险等级用于分配评审、测试和审批资源；法律上的禁止、高风险或受监管分类必须单独由有资质人员按适用文本判断。不要把一个 low/medium/high 字段包装成合规结论，也不要因为供应商标称“低风险”就跳过场景评估。
先设置硬门：违反组织不可接受用途、无法合法取得数据、无法提供必要人工救济或没有停用能力的方案应停止，而不是用更多控制把分数“调低”。其余方案再按下列维度分级：
- 严重性：可能影响生命健康、权利、就业、教育、信贷、公共服务、财产、隐私或声誉到什么程度？
- 发生条件与可能性：正常使用、可预见误用、攻击、数据漂移或供应商变化下多可能发生？证据有多强？
- 规模与暴露：多少人、多高频、持续多久，是否影响弱势或难以发声的群体？
- 可逆性与救济：错误能否及时发现、撤销、补偿、申诉并恢复原状？
- 自主与依赖：输出是参考、默认选项、排序、决定还是自动动作？人是否有时间、信息和权力推翻？
- 数据与连接：是否使用敏感数据、未成年人数据、跨域数据，或连接写工具和公共传播通道？
- 不确定性：新用途、低代表性数据、缺乏测试或供应链不透明本身应提高审查强度。
八步影响评估
- 用途与边界：写明目标、禁止用途、用户、环境、频率、输入、输出和非 AI 方案。
- 利益相关者：识别使用者、直接/间接受影响者、难以申诉群体、运维者与第三方。
- 预期收益与基线：与现有人工或规则流程比较，不把“用了 AI”本身当收益。
- 影响路径：对正常错误、偏差、过度依赖、误用、攻击、隐私、安全和供应商故障分别写“原因→输出/动作→后果”。
- 分群与可达性：检查平均指标会否掩盖小群体、语言、残障或边缘场景的失败。
- 控制和证据：每项控制写负责人、测试、阈值、失败动作与证据位置。
- 残余风险与决策：说明控制后仍可能发生什么，由有权者选择拒绝、试验、附条件上线或接受。
- 复查触发器：用途、群体、地区、模型、数据、工具、自主程度、阈值或事故变化时重做相关部分。
影响评估不是上线前的一次性文书。ISO/IEC 42005:2025 提供 AI 系统影响评估指南，但其官方简介和本节模板都不能替代完整标准、地区性评估义务或专业判断；生产系统应把运行证据、投诉、事故和重大变更回写到评估与残余风险决定。
简单但不虚假的评分
可以用严重性 × 可能性的矩阵排序，但必须保存每个分值的文字理由、证据与不确定性。对高影响领域，可设置“严重性达到上限即至少高风险”的覆盖规则，防止用一个乐观的低概率稀释灾难性影响。分数帮助排队，不代替判断。
例如：内部 FAQ 搜索只返回来源段落，错误可由员工纠正，通常可从较轻审查开始；招聘排序即使准确率相近，也涉及就业机会、群体差异、自动化偏见和救济，应进入更严格评估与独立审批。
练习与自测
分别评估“会议摘要”和“奖学金候选人排序”：写出受影响者、最坏可信后果、可逆性、人工监督、三项证据和复查触发器。不要只给一个分数。
- 能把风险等级追溯到场景与后果。
- 能同时评估收益、非 AI 基线和不同群体影响。
- 能区分控制前风险、控制和残余风险。
- 知道内部矩阵不能替代地区性法律分类。
下一步与资料基线
下一步进入 数据、模型与供应商治理。资料获取日期：2026-07-21。参考 NIST AI RMF Core 的 Map/Measure/Manage、ISO/IEC 42005:2025 官方简介 与 加拿大政府 Algorithmic Impact Assessment/Directive。加拿大工具只适用于其规定范围，可借鉴问题设计但不能直接移植为其他地区的法律结论。欧盟特定部署者的基本权利影响评估范围见 Regulation (EU) 2024/1689 第 27 条；适用时间还须结合 法规、标准与地区复核 中的最新修法状态确认。