ICCV-2023, 文章提出显式隐式的概念,作者通过实验发现显式比隐式的效果好,显式方式通过直接与多个客户的经验风险互动来更新模型,并用泰勒展开式降为 O ( N ) O(N) O(N)通讯成本。
文章地址:arxiv
code: 作者开源
贡献
1.我们发现个性化 FL 算法的显式性赋予了其更强的适应能力。基于这一观察,我们提出了 PGFed,这是一种新颖的显式个性化 FL 算法,它将每个客户端的局部目标框架为个性化的全局目标
2. 据我们所知,PGFed 是该领域第一个实现客户端之间全局协作知识明确转移的工作,而且没有引入看似不可避免的 O ( N 2 ) O(N^2) O(N2) 通信成本
3. 在 PGFed 的基础上,我们开发了一种动量升级,称为 PGFedMo,让客户更有效地利用其他客户的经验风险。
4. 我们在不同的 FL 设置下在四个数据集上评估了 PGFed 和 PGFedMo。结果表明,这两种算法都优于最先进的个性化 FL 方法,准确率提高了 15.47%
算法流程
PGFed
这个就是把原本server上的模型聚合,变成在每个client上都做模型聚合。其中 α 是个可学习的参数,初始化是 1 N \frac{1}{N} N1 ,N是其余参与的client数量。所有的汇总一起优化。
很显然,这样直接计算通讯量是 O ( N 2 ) O(N^2)