We use cookies to improve your experience with our site.

基于数据代表性的联邦学习客户端动态选择方法

Federated Dynamic Client Selection for Fairness Guarantee in Heterogeneous Edge Computing

  • 摘要: 联邦学习作为经典的分布式学习框架被广泛采用,为了减少过程中计算和通信方面产生的开销,通常会采用部分客户端参与训练的方法。然而由于系统异质性,这种方法阻碍了慢节点对服务器的及时响应,甚至会丢弃弱势客户端或者极端特性的客户端,这对于客户端来说特别是数据样本分布不均衡的客户端是不公平的。尽管联邦学习客户端分组可以解决慢节点的问题,但客户端分组内的随机选择策略忽略了组内客户端数据分布的影响。目前的客户分组方法存在客户端选择不公平的问题,导致全局模型在不同客户端的表现有偏差。为了解决全局模型在不同客户端间的性能表现差异问题,实现客户端间的公平性,本文提出了一种基于数据代表性的联邦学习客户端动态选择方法(FedSDR)。FedSDR方法首先根据客户端本地计算效率进行聚类并分组,在每组中选择两个最具代表性的客户端参与训练来优化全局模型。为了衡量客户端代表性,我们设计了一个基于本地数据分布的数据代表性评价机制。然后在每个分组内选出数据分布最普通和最极端的两个客户端参与全局模型的训练。最后,根据DYNAMIC-SELECT算法更新本地计算效率和数据代表性状态,在周期性的平均聚合后重新对客户端进行分组。FedSDR方法在异质性的联邦数据集上实验证明,与FedAvg、TiFL和FedSS方法相比,FedSDR方法在客户参与度方面分别提高了27.4%、37.9%和23.3%。此外,FedSDR方法在本地测试精度方差方面分别优于FedAvg、FedGS 、FedMS方法21.32%、20.42%和6.90%。FedSDR方法在保证全局模型整体性能的同时,既考虑了联邦学习的公平性,又能更好地缓解全局模型在客户端间的性能偏差。
    研究背景 联邦学习作为一种分布式学习范式被广泛应用。目前的客户分组方法虽然可以解决慢节点问题,但是存在客户端选择不公平的现象,同时还忽略了分组内客户端数据分布的影响,导致全局模型在不同客户端上的性能表现偏差。
    目的 为了解决全局模型在不同客户端间的性能表现差异问题,实现客户端选择的公平性,本文提出了一种基于数据代表性的联邦学习客户端动态选择方法。
    方法 FedSDR方法先根据客户端本地计算效率进行聚类并分组来提高客户端参与的公平性。作者还设计了一个基于本地数据分布的数据代表性评价机制来衡量组内客户端代表性,在每组中选择两个最具数据代表性的客户端来优化全局模型。最后,使用DYNAMIC-SELECT算法更新本地计算效率和数据代表性状态,在周期性的平均聚合后重新分组,以适应计算资源动态变化的边缘环境。
    结果 FedSDR方法在真实的异质性联邦数据集上实验证明了,该方法既考虑了联邦学习的公平性,又能更好地缓解全局模型在客户端间的性能偏差。与FedAvg、TiFL和FedSS方法相比,FedSDR方法在客户参与度方面分别提高了27.4%、37.9%和23.3%。此外,FedSDR方法在本地测试精度方差方面分别优于FedAvg、FedGS 、FedMS方法21.32%、20.42%和6.90%。
    结论 本文为了解决现有的客户端分组方法在移动边缘环境中存在不公平的客户端选择以及全局模型在客户端之间性能表现不均衡的问题,提出一种基于数据代表性的联邦学习客户端动态选择方法。我们在多个流行的机器学习任务上评估了我们的算法,实验结果表明,在保证全局模型整体性能的同时,FedSDR方法具有更好的客户端参与度和更均衡的本地测试精度分布,保证了联邦学习的公平性,并且缓解全局模型在客户端间的性能表现偏差现象。

     

    Abstract: Federated learning has emerged as a distributed learning paradigm by training at each client and aggregating at a parameter server. System heterogeneity hinders stragglers from responding to the server in time with huge communication costs. Although client grouping in federated learning can solve the straggler problem, the stochastic selection strategy in client grouping neglects the impact of data distribution within each group. Besides, current client grouping approaches make clients suffer unfair participation, leading to biased performances for different clients. In order to guarantee the fairness of client participation and mitigate biased local performances, we propose a federated dynamic client selection method based on data representativity (FedSDR). FedSDR clusters clients into groups correlated with their own local computational efficiency. To estimate the significance of client datasets, we design a novel data representativity evaluation scheme based on local data distribution. Furthermore, the two most representative clients in each group are selected to optimize the global model. Finally, the DYNAMIC-SELECT algorithm updates local computational efficiency and data representativity states to regroup clients after periodic average aggregation. Evaluations on real datasets show that FedSDR improves client participation by 27.4%, 37.9%, and 23.3% compared with FedAvg, TiFL, and FedSS, respectively, taking fairness into account in federated learning. In addition, FedSDR surpasses FedAvg, FedGS, and FedMS by 21.32%, 20.4%, and 6.90%, respectively, in local test accuracy variance, balancing the performance bias of the global model across clients.

     

/

返回文章
返回