FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning

要約

Federated Learning (FL) は、さまざまなクライアントからのローカルに最適化されたモデルを統合されたグローバル モデルに結合することにより、分散モデル トレーニングへの革新的なアプローチを示します。
FL は集中ストレージを排除することでデータのプライバシーを保護しますが、クライアント データの分散の不均一性によるパフォーマンスの低下、コンバージェンスの遅延、グローバル モデルの堅牢性の低下などの重大な課題に直面しています。
さまざまな形のデータ異質性の中でも、特に画像分類などの分野では、ラベル スキューが特に手ごわい、蔓延する問題として浮上しています。
これらの課題に対処するために、私たちは FL トレーニング プロセスの根本的な問題を正確に特定するための包括的な実験から始めます。
調査結果に基づいて、これらの問題を効果的に解決するために設計された革新的な二重戦略アプローチを導入します。
まず、クライアント側トレーニング用の適応損失関数を導入します。これは、局所的な最適化とグローバル モデルの一貫性の間の最適な均衡を維持しながら、以前に取得した知識を保存するように細心の注意を払って作成されています。
次に、サーバーでクライアント モデルを集約するための動的な集約戦略を開発します。
このアプローチは、各クライアントの固有の学習パターンに適応し、ネットワーク上の多様なデータの課題に効果的に対処します。
理論的な収束保証と組み合わせて、3 つの多様な現実世界のデータセットにわたって実施された当社の包括的な評価は、いくつかの確立された最先端のアプローチと比較して、当社の手法の優れた有効性を実証しています。

要約(オリジナル)

Federated Learning (FL) marks a transformative approach to distributed model training by combining locally optimized models from various clients into a unified global model. While FL preserves data privacy by eliminating centralized storage, it encounters significant challenges such as performance degradation, slower convergence, and reduced robustness of the global model due to the heterogeneity in client data distributions. Among the various forms of data heterogeneity, label skew emerges as a particularly formidable and prevalent issue, especially in domains such as image classification. To address these challenges, we begin with comprehensive experiments to pinpoint the underlying issues in the FL training process. Based on our findings, we then introduce an innovative dual-strategy approach designed to effectively resolve these issues. First, we introduce an adaptive loss function for client-side training, meticulously crafted to preserve previously acquired knowledge while maintaining an optimal equilibrium between local optimization and global model coherence. Secondly, we develop a dynamic aggregation strategy for aggregating client models at the server. This approach adapts to each client’s unique learning patterns, effectively addressing the challenges of diverse data across the network. Our comprehensive evaluation, conducted across three diverse real-world datasets, coupled with theoretical convergence guarantees, demonstrates the superior efficacy of our method compared to several established state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google