[论文笔记] Gossip Learning

提出 Gossip Learning,与 Federated Learning 做比较,实验表明使用 Gossip Learning 训练的模型在一定时间过后与Federated Learning 表现相当。

原文地址

Hegedűs I, Danner G, Jelasity M. Gossip Learning as a Decentralized Alternative to Federated Learning[C]//IFIP International Conference on Distributed Applications and Interoperable Systems. Springer, Cham, 2019: 74-90.


特色

传统的 Federated Learning 是 master-worker 架构(master 节点负责模型聚合,worker 是边缘设备,不同于参数服务器架构)

Gossip Learning 同样主张将数据保留在边缘设备上,但是它没有负责聚合的服务或者任何的中心组成部分,也就是说它是去中心化的。

文章通过实验表明了这两种方法训练出的模型变现相当,在高压缩率(采样率低)情况下,Gossip Learning 表现更佳。


过程

Federated Learning

worker 节点训练过程是异步的,master 在给定的时间 $\Delta_f$ 内收集来自 worker 的参数信息,超过 $\Delta_f$ 仍未发送信息的worker 将被抛弃。算法第 10 行使用了压缩机制。

master 节点运行的算法:

worker 节点运行的算法:


Gossip Learning

Gossip Learning 的特点是没有中心节点,每次更新的时候使用一种采样方式[参考文献 1, 2]从相邻节点获取模型参数 $w_r$ 并合并到本地模型中,随后使用本地数据 $D_k$ 更新。


模型压缩以及聚合

模型压缩:

  • 不压缩
  • 随机选取大小为 s 的模型参数

模型聚合:

  • 简单的平均
  • 基于采样进行聚合

模型参数更新:


实验

基于不同采样率在 Spambase Dataset 上的实验结果。

还有其他实验结果就不一一列举了。


结论

文章的目标在模型学习效率上进行对比,在统一分配的情况下,Gossip Learning 和 Federated Learning 效率差不多,在高压缩率下,Gossip Learning 表现更好。

未来工作的方向是设计一种针对 Gossip Learning 和 Federated Learning 的模型评估,以及更复杂的压缩技术。


参考文献

  1. Jelasity, M., Voulgaris, S., Guerraoui, R., Kermarrec, A.M., van Steen, M.: Gossip-based peer sampling. ACM Trans. Comput. Syst. 25(3), 8 (2007)
  2. Roverso, R., Dowling, J., Jelasity, M.: Through the wormhole: low cost, fresh peer sampling for the internet. In: Proceedings of the 13th IEEE International Conference on Peer-to-Peer Computing (P2P 2013). IEEE (2013)
文章作者: Sshpark
文章链接: http://sshpark.com.cn/2019/10/24/Gossip-Learning/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Sshpark