Federated Multimodal Learning with Dual Adapters and Selective Pruning for Communication and Computational Efficiency

要約

Federated Learning（FL）は、データプライバシーを維持しながら、分散クライアント間の共同学習を可能にします。
ただし、FLは不均一なデータ分布に対処する際に大きな課題に直面しており、多様なクライアント全体で一般化できない最適ではないグローバルモデルにつながる可能性があります。
この作業では、デュアルアダプターアプローチを導入することにより、これらの課題に取り組むように設計された新しいフレームワークを提案します。
このメソッドは、クライアント固有のパーソナライズとより小さなグローバルアダプターのために、より大きなローカルアダプターを利用して、クライアント間の効率的な知識共有を促進します。
さらに、ローカルアダプターからより少ない影響力のあるパラメーターを選択的に削除することにより、通信オーバーヘッドを削減するための剪定メカニズムを組み込みます。
さまざまなビジョンと言語のタスクに関する広範な実験を通じて、私たちの方法は、既存のアプローチと比較して優れたパフォーマンスを示しています。
通信コストを大幅に削減しながら、テストの精度が高く、クライアント間のパフォーマンスの変動が低くなり、最悪のパフォーマンスが向上しました。
全体として、提案された方法は、モデルのパーソナライズと一般化の間の重要なトレードオフに対処し、実際のFLアプリケーションにスケーラブルなソリューションを提供します。

要約(オリジナル)

Federated Learning (FL) enables collaborative learning across distributed clients while preserving data privacy. However, FL faces significant challenges when dealing with heterogeneous data distributions, which can lead to suboptimal global models that fail to generalize across diverse clients. In this work, we propose a novel framework designed to tackle these challenges by introducing a dual-adapter approach. The method utilizes a larger local adapter for client-specific personalization and a smaller global adapter to facilitate efficient knowledge sharing across clients. Additionally, we incorporate a pruning mechanism to reduce communication overhead by selectively removing less impactful parameters from the local adapter. Through extensive experiments on a range of vision and language tasks, our method demonstrates superior performance compared to existing approaches. It achieves higher test accuracy, lower performance variance among clients, and improved worst-case performance, all while significantly reducing communication and computation costs. Overall, the proposed method addresses the critical trade-off between model personalization and generalization, offering a scalable solution for real-world FL applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google