FedDD: Toward Communication-efficient Federated Learning with Differential Parameter Dropout

要約

Federated Learning (FL) では、モデル パラメーターを頻繁に交換する必要があるため、特にクライアントのネットワーク環境が大きく異なる場合、通信遅延が長くなります。
さらに、パラメータ サーバーは、最も遅いクライアント (つまり、最も大きなモデル サイズ、最も低いコンピューティング能力、または最悪のネットワーク条件を持つ可能性のある落伍者) がパラメータをアップロードするのを待つ必要があり、これにより通信効率が大幅に低下する可能性があります。
部分的なクライアント選択などの一般的に使用されるクライアント選択方法は、コンピューティング リソースの無駄につながり、グローバル モデルの一般化が弱まります。
この問題に取り組むために、別の方向に沿って、この論文では、クライアント選択の代わりにモデル パラメーター ドロップアウトのアプローチを提唱し、それに応じて差分パラメーター ドロップアウト (FedDD) を備えた統合学習スキームの新しいフレームワークを提案します。
FedDD は、ドロップアウト率の割り当てとアップロードされたパラメータの選択という 2 つの主要なモジュールで構成されます。これらは、さまざまなクライアントの異質な条件に合わせてモデル パラメータのアップロード率を最適化し、クライアントのドロップアウト率の制約に従ってアップロードするための重要なモデル パラメータの適切なセットを選択します。
具体的には、ドロップアウト率の割り当ては、システムの異質性、データの異質性、クライアント間のモデルの異質性を考慮した凸最適化問題として定式化されます。
アップロードされたパラメーターの選択戦略では、収束を高速化するためにアップロードする重要なパラメーターを優先します。
さらに、提案された FedDD スキームの収束を理論的に分析します。
広範なパフォーマンス評価により、提案された FedDD スキームが通信効率とモデル収束の両方で優れたパフォーマンスを達成でき、希少クラスのデータに対する強力な一般化機能も備えていることが実証されました。

要約(オリジナル)

Federated Learning (FL) requires frequent exchange of model parameters, which leads to long communication delay, especially when the network environments of clients vary greatly. Moreover, the parameter server needs to wait for the slowest client (i.e., straggler, which may have the largest model size, lowest computing capability or worst network condition) to upload parameters, which may significantly degrade the communication efficiency. Commonly-used client selection methods such as partial client selection would lead to the waste of computing resources and weaken the generalization of the global model. To tackle this problem, along a different line, in this paper, we advocate the approach of model parameter dropout instead of client selection, and accordingly propose a novel framework of Federated learning scheme with Differential parameter Dropout (FedDD). FedDD consists of two key modules: dropout rate allocation and uploaded parameter selection, which will optimize the model parameter uploading ratios tailored to different clients’ heterogeneous conditions and also select the proper set of important model parameters for uploading subject to clients’ dropout rate constraints. Specifically, the dropout rate allocation is formulated as a convex optimization problem, taking system heterogeneity, data heterogeneity, and model heterogeneity among clients into consideration. The uploaded parameter selection strategy prioritizes on eliciting important parameters for uploading to speedup convergence. Furthermore, we theoretically analyze the convergence of the proposed FedDD scheme. Extensive performance evaluations demonstrate that the proposed FedDD scheme can achieve outstanding performances in both communication efficiency and model convergence, and also possesses a strong generalization capability to data of rare classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google