[论文笔记] Edge-Assisted Hierarchical Federated Learning withNon-IID Data

提出了一种分层的联邦学习以及对应算法(HierFAVG)降低通信延时问题,与传统的 FAVG(Federated Averaging) 做对比。

原文地址

Edge-Assisted Hierarchical Federated Learning withNon-IID Data

背景

将 ML 或 DL 模型应用在边缘设备上是一个革命性的突破。然而,传统的模型训练是在计算中心完成的,近几年出于隐私保护问题,用户数据将不会上传至计算中心,数据保留在用户手中。在不上传数据的情况下,FL (联邦学习)提出了让各个设备协同训练一个共享模型,然后上传模型的更新信息到云中心进行模型聚合。但是,这种做法在通信消耗上出现了瓶颈。

过程

分层结构如下:

客户端的更新参数不是直接发送至云中心,而是发送至边缘服务器,然后边缘服务器再发送至云中心。

原因如下:

  1. 云中心比边缘服务器能够处理更多的用户连接,能够处理大量数据进行模型聚合。
  2. 客户端与边缘服务器的通信延时更低。

HierFAVG 算法过程

客户端每经过 $\tau_1$ 轮的更新就在边缘服务器上进行模型聚合操作,边缘服务器每经过 $\tau_2$ 轮的聚合就在云中心进行模型聚合。也就是说每经过 $\tau_1 \tau_2$ 轮的更新就与云中心通信。

我们记 $\mathcal{w}_i^l(t)$ 为第 t 轮本地更新的模型参数,那么有:

算法过程如下:

实验结果

$T_\alpha$ 表示达到准确率 $\alpha$ 需要的时间

$N_\alpha$ 表示达到准确率 $\alpha$ 需要的通信次数


如上表所示,当 $\tau_1 \tau_2$ 固定为 60 的时候,无论是 Edge-IID 还是 Edge-NIID,与云中心的通信次数都随着 $\tau_1$ 的减少而减少。这是因为随着 $\tau_1$ 的减少模型的收敛速度更快了,如图1所示。

同时实验也表明了通过适当的增加 $\tau_2$ 可以降低与云中心的通信次数。但是这对于NIID不是那么使用,当 $\tau_1=60, \tau_2 = 64$ 的时候,模型无法收敛到预期精度。

图 1

总结

文章提出了一种分层的联邦学习体系结构,并辅以训练算法 HierFAVG。对于两个云模型聚合之间相同数量的本地更新,优先选择较小的边缘聚合间隔 $\tau_1$ 。 此外,当边缘云之间的数据分布为 IID 时,可以通过增加 $\tau_2$ 来减少通信开销。 尽管研究表明在选择 $\tau_1, \tau_2$ 值时需要权衡取舍,但仍需进一步研究以充分表征和优化这些关键参数。

文章作者: Sshpark
文章链接: http://sshpark.com.cn/2019/10/31/论文笔记-Edge-Assisted-Hierarchical-Federated-Learning-withNon-IID-Data/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Sshpark