FedSelect: Customized Selection of Parameters for Fine-Tuning during Personalized Federated Learning

要約

フェデレーテッド ラーニング (FL) の最近の進歩では、ローカル データのクライアント パラメーターを微調整したり、ローカル タスクに合わせてアーキテクチャをパーソナライズしたりすることで、クライアント レベルのパフォーマンスの向上を目指しています。
このようなパーソナライゼーションのための既存の方法は、グローバル モデルをプルーニングするか、ローカル クライアント ディストリビューションでグローバル モデルを微調整するかのいずれかです。
ただし、これらの既存の方法は、重要なグローバル ナレッジを保持することを犠牲にしてパーソナライズするか、または微調整するためにネットワーク層を事前に決定するため、クライアント モデル内でグローバル ナレッジが最適に保存されていません。
宝くじの仮説に基づいて、最初に、残りのパラメーターを固定したままにして、ローカルで微調整する最適なクライアント サブネットワークを見つけるための仮説を導入します。
次に、トレーニング中にパーソナライゼーションのための最適なパラメータとグローバル集約のための残りのパラメータを同時に発見することによって、クライアントのサブネットワーク構造とパラメータの両方を直接パーソナライズするこの手順を使用する、新しい FL フレームワーク FedSelect を提案します。
この方法が CIFAR-10 で有望な結果を達成することを示します。

要約(オリジナル)

Recent advancements in federated learning (FL) seek to increase client-level performance by fine-tuning client parameters on local data or personalizing architectures for the local task. Existing methods for such personalization either prune a global model or fine-tune a global model on a local client distribution. However, these existing methods either personalize at the expense of retaining important global knowledge, or predetermine network layers for fine-tuning, resulting in suboptimal storage of global knowledge within client models. Enlightened by the lottery ticket hypothesis, we first introduce a hypothesis for finding optimal client subnetworks to locally fine-tune while leaving the rest of the parameters frozen. We then propose a novel FL framework, FedSelect, using this procedure that directly personalizes both client subnetwork structure and parameters, via the simultaneous discovery of optimal parameters for personalization and the rest of parameters for global aggregation during training. We show that this method achieves promising results on CIFAR-10.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google