Extra Clients at No Extra Cost: Overcome Data Heterogeneity in Federated Learning with Filter Decomposition

要約

データの不均一性は、フェデレートラーニング（FL）の主要な課題の1つであり、それが実質的なクライアントの分散と収束が遅いことをもたらします。
この研究では、新しいソリューションを提案します。FLの畳み込みフィルターをフィルターサブスペース要素、つまりフィルター原子の線形結合に分解します。
この単純な手法は、FLのグローバルフィルター凝集を凝集フィルター原子とその原子係数に変換します。
ここでの重要な利点は、フィルター原子と原子係数から2つの加重合計の積を拡大することにより、数学的に多数の交差体を生成することです。
これらの交差点は、多くの追加の潜在的なクライアントを効果的にエミュレートし、モデルの分散を大幅に削減します。これは、理論分析と経験的観察によって検証されます。
さらに、我々の方法では、フィルター原子と原子係数のさまざまなトレーニングスキームが、高度に適応的なモデルのパーソナライズとコミュニケーション効率を可能にします。
ベンチマークデータセットの経験的結果は、フィルター分解技術がFLメソッドの精度を大幅に改善し、データの不均一性に対処する際のその有効性を確認することを示しています。

要約(オリジナル)

Data heterogeneity is one of the major challenges in federated learning (FL), which results in substantial client variance and slow convergence. In this study, we propose a novel solution: decomposing a convolutional filter in FL into a linear combination of filter subspace elements, i.e., filter atoms. This simple technique transforms global filter aggregation in FL into aggregating filter atoms and their atom coefficients. The key advantage here involves mathematically generating numerous cross-terms by expanding the product of two weighted sums from filter atom and atom coefficient. These cross-terms effectively emulate many additional latent clients, significantly reducing model variance, which is validated by our theoretical analysis and empirical observation. Furthermore, our method permits different training schemes for filter atoms and atom coefficients for highly adaptive model personalization and communication efficiency. Empirical results on benchmark datasets demonstrate that our filter decomposition technique substantially improves the accuracy of FL methods, confirming its efficacy in addressing data heterogeneity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google