论文名字 | Differentially Private Learning with Adaptive Clipping | ||
来源 | |||
年份 | 2019 | ||
作者 | Galen Andrew, Om Thakkar, H. Brendan McMahan, Swaroop Ramaswamy | ||
核心点 | 提出对更新的范数的自适应裁剪方法 | ||
阅读日期 | 2021.3.30 | ||
影响因子 |
| ||
页数 | 10 | ||
引用数 |
| ||
引用 |
| ||
内容总结 | |||
文章主要解决的问题及解决方案: 解决固定clip裁剪问题。
文章的主要工作: 1、提出一种在DP Federated Averaging中,对更新的范数的自适应裁剪方法,消除了调整裁剪超参数的需要。 2、原理推导:
假设有X中的m个样本,平均loss为:
3、将上述推论用于DPFedAvg中:体现在伪代码中就是红色部分
文章内容:
实验结果:
附录:
参考文献:
|