差分隐私直觉与预算
本节目标
能用相邻数据集解释 (ε, δ)-差分隐私,理解贡献边界、敏感度、噪声与组合;能维护跨发布预算台账;能区分数学定义、机制实现、系统配置和真实发布证据。
直觉:有无某个人,输出看起来相近
设 D 与 D' 是只相差一个主体的相邻数据集,随机机制 M 对任意输出集合 S 满足:
直觉上,观察输出后,攻击者不应很容易判断这个主体是否参与。ε 控制两种输出分布的乘法差异,δ 允许相对于纯 ε 保证的加性松弛;δ=0 是合法的纯差分隐私情形。ε 越小通常保证越强、噪声越大,但 ε/δ 都不是“匿名百分比”或独立于主体范围、邻接、机制和组合的合规分数。
第一步不是选 ε,而是定义邻接
“相差一行”可能把一次事件当主体;一个人若贡献千行,保护就被误述。常见语义包括添加/删除一个人的全部记录,或替换一个人的记录。必须写出主体范围、时间窗和贡献边界:每人最多多少事件、每项数值裁剪到什么范围。
查询敏感度描述相邻数据集下结果最大改变。计数在每人贡献至多 1 时敏感度为 1;若一个人可贡献 20 次,未裁剪的敏感度至少增大。实际机制、采样、会计与证明可能更复杂,本节不替代专家审查。
机制、后处理与旁路
Laplace、Gaussian 等机制按敏感度和参数加入随机性。已经由 DP 机制产生的输出再做不访问原始数据的后处理,不额外增加隐私损失;但重新查询原始数据、用非 DP 小组统计校正结果、泄露随机种子或中间值会绕开保证。
“加了噪声”不足以证明 DP。需确认:邻接、贡献裁剪、机制公式、随机数实现、参数、数值稳定性、会计、并发、失败重试、缓存和所有发布出口。
隐私预算与组合
多次发布会组合。最保守的基本组合可把 ε 与 δ 分别相加;更高级会计可能给出更紧界,但必须记录采用的定理/实现与条件。一个预算台账至少包含:
- 数据主体范围、相邻定义与贡献边界;
- 数据/查询/机制/软件版本;
- 每次发布 ID、ε、δ、会计方法与审批;
- 已消耗、预留、取消和剩余预算;
- 运行人、时间、输出位置、失败/重试是否已消费;
- 负责人、冻结上限和超限行为。
预算要原子预留,避免两个并发请求都看到“尚有余额”。调参、仪表盘刷新、分组查询、A/B 输出和实验重跑是否消费预算取决于是否再次访问私有数据和机制设计,不能默认免费。
效用与公平性
强噪声会增加误差,小群体、长尾类别和高维切片可能受影响更大。验证不只看平均准确率,还要报告偏差、方差、置信区间/重复运行稳定性、分组效用、排名或决策变化。若某群体样本少,噪声可能让其服务质量更差;隐私保证和公平结果是不同维度。
四层证据
- 定义层:主体与邻接是什么,保护声明对谁成立;
- 机制层:敏感度、裁剪、随机机制、ε/δ 与会计正确;
- 实现层:代码、随机性、数值、并发、错误与测试符合设计;
- 系统层:所有旁路输出、缓存、日志、访问和预算门被控制。
NIST SP 800-226 用多层“DP 金字塔”和隐私危害帮助评估从数学到软件的落差。它不是替你选择统一生产参数的清单。
常见误区
- 看到 ε 很小就宣称安全,未定义邻接或贡献边界。
- 每个团队各自看预算,忽略同一主体/数据集的跨产品组合。
- 把训练阶段 DP 与推理 Prompt、RAG、日志和模型输出的全部隐私问题混为一谈。
- 对 DP 输出做无限切片或用原始数据“修正”,却声称是免费后处理。
- 只报告效用均值,不报告小群体、随机波动和预算使用。
练习与自测
为同一月度数据的“总使用量、地区分组、季度趋势”写预算台账。定义添加/删除一个人的邻接与每人贡献边界;用基本组合计算总 ε/δ;取消一项发布并说明是否已消费。不要自行给生产阈值。
- 能用公式和直觉解释邻接、ε、δ、敏感度与贡献裁剪。
- 能说明后处理何时免费、何时偷偷再次访问私有数据。
- 能维护跨发布、并发、失败与重试的一致预算台账。
- 能区分数学声明、实现证据、系统旁路和效用结果。
下一步
若数据分布在多个持有方,继续 联邦学习与安全聚合。
参考资料
- NIST SP 800-226: Guidelines for Evaluating Differential Privacy Guarantees(最终版,2025-03;获取日期:2026-07-21)
- NIST SP 800-226 DOI