Conquering the Communication Constraints to Enable Large Pre-Trained Models in Federated Learning

要約

フェデレーテッド ラーニング (FL) は、ローカル デバイス上の生データに一元的にアクセスすることなく、モデルの共同トレーニングを可能にする有望なパラダイムとして浮上しています。
典型的な FL パラダイム (FedAvg など) では、参加しているクライアントへのラウンドごとにモデルの重みがサーバーとの間で送受信されます。
最近、小規模な事前トレーニング済みモデルの使用が、フェデレーテッド ラーニングの最適化と収束の向上に効果的であることが示されました。
ただし、最近の最先端の事前トレーニング済みモデルは、より機能が向上しているだけでなく、より多くのパラメーターを備えています。
従来の FL では、特により高性能なモデルが使用されている場合、膨大なモデルの重みを共有すると、すぐにシステムに多大な通信負荷がかかる可能性があります。
フロリダ州の強力ですぐに利用できる事前トレーニング済みモデルが優れたパフォーマンスを達成しながら、同時に通信負荷を軽減できるソリューションを見つけることはできるでしょうか?
この目的を達成するために、私たちはフェデレーテッド ラーニングにおけるパラメーター効率の高い微調整の使用を調査し、新しいフレームワーク FedPEFT を導入します。
具体的には、さまざまなクライアントの安定性、データ分散、差分プライバシー設定にわたる FedPEFT のパフォーマンスを体系的に評価します。
モデルの重みのごく一部をローカルで調整し、グローバルに共有するだけで、幅広いフェデレーテッド ラーニング シナリオで競争力のある、またはさらに優れたパフォーマンスを維持しながら、総通信オーバーヘッドの大幅な削減を達成でき、実践的で優れた学習のための新しいパラダイムへの洞察が得られます。
効果的なフェデレーション システム。

要約(オリジナル)

Federated learning (FL) has emerged as a promising paradigm for enabling the collaborative training of models without centralized access to the raw data on local devices. In the typical FL paradigm (e.g., FedAvg), model weights are sent to and from the server each round to participating clients. Recently, the use of small pre-trained models has been shown effective in federated learning optimization and improving convergence. However, recent state-of-the-art pre-trained models are getting more capable but also have more parameters. In conventional FL, sharing the enormous model weights can quickly put a massive communication burden on the system, especially if more capable models are employed. Can we find a solution to enable those strong and readily-available pre-trained models in FL to achieve excellent performance while simultaneously reducing the communication burden? To this end, we investigate the use of parameter-efficient fine-tuning in federated learning and thus introduce a new framework: FedPEFT. Specifically, we systemically evaluate the performance of FedPEFT across a variety of client stability, data distribution, and differential privacy settings. By only locally tuning and globally sharing a small portion of the model weights, significant reductions in the total communication overhead can be achieved while maintaining competitive or even better performance in a wide range of federated learning scenarios, providing insight into a new paradigm for practical and effective federated systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google