Heterogeneous Federated Learning with Group-Aware Prompt Tuning

要約

Transformers はさまざまな機械学習タスクで目覚ましい成功を収め、その広範な採用を促しました。
このペーパーでは、個々のクライアントが多様なローカル データセットを所有する異種シナリオに特に焦点を当て、フェデレーテッド ラーニング (FL) のコンテキストでのアプリケーションを検討します。
FL の計算および通信の需要を満たすために、私たちは事前トレーニング済みの Transformers を活用し、効率的なプロンプト チューニング戦略を使用します。
私たちの戦略では、共有プロンプトとグループプロンプトの両方を学習するという概念を導入し、普遍的な知識とグループ固有の知識を同時に習得できるようにします。
さらに、プロンプト選択モジュールは、パーソナライズされたグループ プロンプトを各入力に割り当て、グローバル モデルを各クライアントのデータ分布に合わせて調整します。
このアプローチにより、ローカルでの微調整を必要とせずに、さまざまなローカル クライアント データ分散に自動的に適応できる単一のグローバル モデルをトレーニングできるようになります。
このようにして、私たちが提案する方法は、Federated Learning におけるグローバル モデルとパーソナライズされたローカル モデルの間のギャップを効果的に橋渡しし、これまで見たことのないクライアントに適応する機能を欠いている代替アプローチを上回ります。
私たちのアプローチの有効性は、広範な実験とアブレーション研究を通じて厳密に検証されています。

要約(オリジナル)

Transformers have achieved remarkable success in various machine-learning tasks, prompting their widespread adoption. In this paper, we explore their application in the context of federated learning (FL), with a particular focus on heterogeneous scenarios where individual clients possess diverse local datasets. To meet the computational and communication demands of FL, we leverage pre-trained Transformers and use an efficient prompt-tuning strategy. Our strategy introduces the concept of learning both shared and group prompts, enabling the acquisition of universal knowledge and group-specific knowledge simultaneously. Additionally, a prompt selection module assigns personalized group prompts to each input, aligning the global model with the data distribution of each client. This approach allows us to train a single global model that can automatically adapt to various local client data distributions without requiring local fine-tuning. In this way, our proposed method effectively bridges the gap between global and personalized local models in Federated Learning and surpasses alternative approaches that lack the capability to adapt to previously unseen clients. The effectiveness of our approach is rigorously validated through extensive experimentation and ablation studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google