Exploring Parameter-Efficient Fine-tuning for Improving Communication Efficiency in Federated Learning

要約

Federated Learning (FL) は、ローカルデバイス上の生データに集中的にアクセスすることなく、モデルの協調学習を可能にする有望なパラダイムとして登場した。典型的なFLパラダイム（例：FedAvg）では、モデルの重みがサーバーから参加クライアントへ毎ラウンド送信される。しかし、これは、特に非常に小さなMLPを超えたより高性能なモデルが採用された場合、すぐに膨大な通信負担をシステムにかけることになる。最近、事前学習済みモデルの利用が、連合学習の最適化と収束の改善に有効であることが示されている。このことは、新たな研究課題の扉を開くことになる。強力で容易に入手可能な事前学習済みモデルを活用して、連合学習における重み共有パラダイムを調整し、通信負担を大幅に軽減すると同時に、優れた性能を実現できないか？この目的のために、我々は連合学習におけるパラメータ効率的な微調整の利用を調査する。具体的には、クライアントの安定性、データ分布、プライバシーの差分設定など様々な条件下で、いくつかのパラメータ効率の良い微調整法の性能を系統的に評価する。モデル重みのごく一部を局所的に調整しグローバルに共有することにより、幅広い連合学習シナリオにおいて競争力のある性能を維持しつつ、総通信オーバーヘッドを大幅に削減することができ、実用的かつ効果的な連合システムのための新しいパラダイムへの洞察を提供することができる。

要約(オリジナル)

Federated learning (FL) has emerged as a promising paradigm for enabling the collaborative training of models without centralized access to the raw data on local devices. In the typical FL paradigm (e.g., FedAvg), model weights are sent to and from the server each round to participating clients. However, this can quickly put a massive communication burden on the system, especially if more capable models beyond very small MLPs are employed. Recently, the use of pre-trained models has been shown effective in federated learning optimization and improving convergence. This opens the door for new research questions. Can we adjust the weight-sharing paradigm in federated learning, leveraging strong and readily-available pre-trained models, to significantly reduce the communication burden while simultaneously achieving excellent performance? To this end, we investigate the use of parameter-efficient fine-tuning in federated learning. Specifically, we systemically evaluate the performance of several parameter-efficient fine-tuning methods across a variety of client stability, data distribution, and differential privacy settings. By only locally tuning and globally sharing a small portion of the model weights, significant reductions in the total communication overhead can be achieved while maintaining competitive performance in a wide range of federated learning scenarios, providing insight into a new paradigm for practical and effective federated systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL