文章链接：FedAT: A Communication-Efficient Federated Learning Method with Asynchronous Tiers under Non-IID Data
发表会议: SC’21 (International Conference for High Performance Computing, Networking, Storage, and Analysis) 高性能计算，体系结构领域顶级会议，CCF-A
目录
- 1.背景介绍
- 2.内容摘要
- 关键技术
- 实验结果
- 3.文章总结
1.背景介绍
联邦学习（FL）涉及在大规模分布式设备上训练模型，同时保持本地训练数据私有化。这种形式的协作学习需要考虑模型的收敛速度，准确性，客户端之间平衡问题和通信成本多方面的新权衡。
新的挑战包括：
- 落伍者问题，其中客户端由于数据或（计算和网络）资源异构性而滞后，
- 通信瓶颈，其中大量客户端将其本地更新传送到中央服务器并使服务器瓶颈。
现有的线性优化方法大多只关注一维的权衡空间进行优化。现有的解决方案使用异步模型更新或基于分层的同步机制来处理掉队问题。然而，异步方法很容易造成网络通信瓶颈，而分级可能会引入偏差，因为分级更倾向于响应延迟更短的更快的层。
2.内容摘要
本文提出了一种新的基于异步层的联邦学习方法：
FedAT。FedAT协同地结合了同步层内训练和异步跨层训练。通过分层桥接同步和异步训练，FedAT通过提高收敛速度和测试精度使掉队效应最小化。FedAT使用一种感知掉队者的、加权的聚合启发式来引导和平衡训练，以进一步提高准确度。
FedAT使用一种高效的、基于多线段编码的压缩算法压缩上行和下行链路通信，因此将通信成本降至最低。结果表明，与最先进的FL算法相比，FedAT算法的预测性能提高了21.09%，通信成本降低了8.5倍。
