负责任使用与风险控制
本节目标
你将把“负责任”从口号变为设计问题：谁会受影响，哪些数据可用，错误如何被发现，谁能否决系统，发生事件后由谁处理。
可信不是一个总分
NIST AI RMF 列出的可信 AI 特征包括：有效且可靠、安全、可靠防护且有韧性、可问责且透明、可解释且可理解、隐私增强，以及在管理有害偏差的前提下保持公平。这里的韧性指系统在故障、攻击或变化下仍能维持或恢复必要功能；问责指责任和决定可以归属到组织与人员；可解释/可理解关注人能否在具体情境中理解输出、机制或理由。
稳定事实：这些特征会互相影响，也可能需要权衡；不能因为某一项好就宣称整个系统“可信”。例如，为排查问题记录更多日志有助于问责，却可能增加隐私暴露；完全隐藏输入有助于隐私，却可能让审核者无法判断证据。
负责任使用需要在具体情境中说明：优先保护什么、接受什么剩余风险、由谁批准、何时复查。
最低控制面
1. 数据边界
- 只收集完成任务所需的数据；说明来源、用途、保留期限和删除方式。
- 把公开、内部、机密、个人敏感信息分级，默认不把高敏感数据发送给未经批准的外部服务。
- 测试、日志和反馈样本同样可能含敏感信息，不能只保护“正式数据库”。
- 用合成或脱敏数据开发时，仍要检查它是否暴露真实模板，或能否与其他信息组合后重新识别到个人（re-identification）。
2. 权限与安全
- 每个工具使用独立身份和最小权限；读、写、删除、发送分别授权。
- 不可信文档、网页和用户输入都视为数据，不允许它们改变系统级权限。
- 密钥不写入提示词、笔记、源代码或日志；通过安全配置注入，并支持轮换。
- 对写操作实施参数校验、速率限制、幂等、批准和审计。
3. 透明与问责
- 告知用户何处使用 AI、输出是建议还是决定、如何反馈或申诉。
- 保存系统用途、非用途、数据、评测、限制、版本和责任人。
- 关键输出能追溯到输入证据、工具结果和批准记录。
- 责任归属于组织和人员，不能写成“模型自行决定”。
模型卡（Model Card）可记录模型的预期用途、评测条件和限制；数据表（Datasheet）可记录数据的动机、组成、收集和建议用途。它们是透明工具，不会自动证明系统安全。
4. 人的有效监督
“有人工审核”只有在以下条件满足时才是控制：
- 审核者有时间、领域知识和原始证据；
- 界面清楚显示不确定性、来源和系统限制；
- 审核者能拒绝、修改、停止或升级事件；
- 组织检查审核者是否机械接受 AI 建议；
- 最终责任与申诉路径明确。
5. 公平与可达性
平均准确率可能掩盖某些语言、地区、设备或群体的系统性错误。先判断哪些群体可能受到不同影响，再按合理分组检查错误，并让领域专家与受影响者参与评审。并非所有敏感属性都可合法或适当地收集；无法测量时也要记录限制，而不是默认没有问题。
6. 资源与环境影响
训练、推理、数据存储和硬件更新都会消耗计算、能源、水和材料。影响取决于模型、硬件、地区电力、利用率、请求量和生命周期，不能用一个通用数字替代测量。工程上应比较更小模型、缓存、批处理、按需检索、运行地区和保留周期，并记录质量—成本—环境之间的权衡。
资源与环境影响是生命周期风险与影响评估的一部分，不应被误写成 NIST 可信特征列表中新增加的独立特征。
高影响场景的保守原则
当输出涉及医疗、就业、信贷、教育机会、法律权利、人身安全或重大财务影响时：
- 先核对适用法律、行业规范和组织政策；本节不是法律意见。
- 不让通用 LLM 单独作最终决定。
- 提供合格专业人员复核、证据访问、异议和申诉渠道。
- 在真实情境和相关群体上验证，而不是套用通用 benchmark。
- 无法证明风险在容忍范围内时，不部署或显著缩小用途。
风险登记表：让决定留下证据
每项风险至少写：
| 字段 | 问题 |
|---|---|
| 场景与受影响者 | 谁在何时受到什么影响？ |
| 触发与后果 | 什么条件触发，最坏合理后果是什么？ |
| 现有控制 | 预防、检测、响应分别是什么？ |
| 证据与指标 | 怎样知道控制有效？ |
| 剩余风险 | 控制后还剩什么不确定性？ |
| 所有人与期限 | 谁负责，何时复查？ |
| 决定 | 接受、降低、转移、避免还是停用？ |
练习：评审“自动发送会议纪要”
团队想让系统读取会议录音，生成纪要并自动发给所有参会者。请完成：
- 列出数据主体（被收集、记录或推断信息所涉及的人）、数据类型、授权与保留问题。
- 找出至少 5 个失败后果，包括错认发言人、遗漏反对意见和发送对象错误。
- 将功能拆成转写、摘要、行动项、收件人选择、发送五步，分别标明 AI、规则和人工职责。
- 设计一个低风险版本：只生成草稿、显示原文证据、由会议负责人确认收件人和内容后发送。
- 为这个版本填写三项风险登记表，并写明停用条件。
自测
- 为什么“数据已公开”不自动等于“可以用于任何 AI 处理”？
- 人工审核在什么情况下只是形式控制？
- 模型卡解决不了什么问题？
- 隐私与可审计性发生冲突时该怎么做？
参考答案要点：仍需考虑用途、许可、情境期望与伤害；审核者缺时间、证据、权限或过度依赖系统时无效；文档不能替代实际评测与控制；应最小化记录、分级访问、保存必要证据并明确保留期限，对权衡作有责任人的记录。
相关概念
- AI安全聚焦蓄意攻击与系统防护，隐私计算聚焦数据处理中的隐私技术与适用边界。
- AI治理负责责任人、政策、审查和证据链；技术控制不能替代组织问责。
- 数据标注与 数据合成会影响代表性、偏差、许可和可追溯性。
本节边界
小结与下一步
责任边界必须落实为数据、权限、测试、监督和事件响应。现在进入 综合项目：会议行动项助理，把前十节组合成一份可验收的系统方案。
参考资料
获取日期：2026-07-22。