FedDD: Toward Communication-efficient Federated Learning with Differential Parameter Dropout

要約

Federated Learning(FL)では、モデルのパラメータを頻繁に交換する必要があり、特にクライアントのネットワーク環境が大きく異なる場合、長い通信遅延が発生する。さらに、パラメータサーバは、最も遅いクライアント（すなわち、モデルサイズが最も大きく、計算能力が最も低く、ネットワーク状態が最悪である可能性がある、はぐれ者）がパラメータをアップロードするのを待つ必要があり、これは通信効率を著しく低下させる可能性がある。部分的なクライアント選択のような一般的に使用されているクライアント選択方法は、計算資源の浪費につながり、グローバルモデルの汎化を弱める。この問題に取り組むため、本論文では、クライアント選択の代わりに、モデルパラメータのドロップアウトというアプローチを提唱し、それに従って、差分パラメータドロップアウトを用いた新しい学習スキーム（Federated Learning scheme with Differential parameter Dropout: FedDD）のフレームワークを提案する。FedDDは、ドロップアウト率割り当てとアップロードパラメータ選択という2つの主要なモジュールから構成され、異なるクライアントの異質な条件に合わせてモデルパラメータのアップロード比率を最適化し、また、クライアントのドロップアウト率制約の下でアップロードするための重要なモデルパラメータの適切なセットを選択する。具体的には、クライアント間のシステム異質性、データ異質性、モデル異質性を考慮した凸最適化問題として定式化される。アップロードパラメータ選択戦略は、収束を早めるために、アップロードのために重要なパラメータを引き出すことを優先する。さらに、提案するFedDDスキームの収束を理論的に解析する。広範な性能評価により、提案するFedDDスキームが通信効率とモデル収束の両方で卓越した性能を達成できること、また、稀なクラスのデータに対する強力な汎化能力を有することを示す。

要約(オリジナル)

Federated Learning (FL) requires frequent exchange of model parameters, which leads to long communication delay, especially when the network environments of clients vary greatly. Moreover, the parameter server needs to wait for the slowest client (i.e., straggler, which may have the largest model size, lowest computing capability or worst network condition) to upload parameters, which may significantly degrade the communication efficiency. Commonly-used client selection methods such as partial client selection would lead to the waste of computing resources and weaken the generalization of the global model. To tackle this problem, along a different line, in this paper, we advocate the approach of model parameter dropout instead of client selection, and accordingly propose a novel framework of Federated learning scheme with Differential parameter Dropout (FedDD). FedDD consists of two key modules: dropout rate allocation and uploaded parameter selection, which will optimize the model parameter uploading ratios tailored to different clients’ heterogeneous conditions and also select the proper set of important model parameters for uploading subject to clients’ dropout rate constraints. Specifically, the dropout rate allocation is formulated as a convex optimization problem, taking system heterogeneity, data heterogeneity, and model heterogeneity among clients into consideration. The uploaded parameter selection strategy prioritizes on eliciting important parameters for uploading to speedup convergence. Furthermore, we theoretically analyze the convergence of the proposed FedDD scheme. Extensive performance evaluations demonstrate that the proposed FedDD scheme can achieve outstanding performances in both communication efficiency and model convergence, and also possesses a strong generalization capability to data of rare classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL