FedFOR: Stateless Heterogeneous Federated Learning with First-Order Regularization

要約

フェデレーテッド ラーニング (FL) は、集中化されたデータ センターでデータを収集することなく、ローカル クライアント間でモデル トレーニングを分散することを目的としているため、データ プライバシーの懸念が取り除かれます。
FL の主な課題は、データの不均一性 (各クライアントのデータ分布が異なる可能性がある) です。これは、ローカル クライアント間の重みの相違とグローバルな収束の遅延につながる可能性があるためです。
データの不均一性のために設計された現在の SOTA FL メソッドは、通常、非 IID データの影響を制限するために正則化を課し、ステートフルなアルゴリズムです。つまり、時間の経過とともにローカル統計を維持します。
これらのアプローチは効果的ですが、少数の信頼できるクライアントのみが関係する FL の特殊なケースにしか使用できません。
クライアント数が多い FL のより一般的なアプリケーション (エッジ デバイスやモバイル アプリケーションなど) の場合、これらの方法は適用できず、任意の数のクライアントに使用できる異種 FL へのステートレス アプローチの必要性が生じます。
.
ローカル データの不均一性による一貫性のないローカル更新にペナルティを課すために、一次勾配正則化を導出します。
具体的には、重みの発散を軽減するために、グローバル データ分布の一次近似をローカル目標に導入します。これにより、グローバル更新とは反対方向の更新に直感的にペナルティが課せられます。
最終結果は、1) 大幅に高速な収束 (つまり、通信ラウンドが少ない)、および 2) 非 IID データ分散での SOTA 方法よりも高い全体的な収束パフォーマンスを達成するステートレス FL アルゴリズムです。
重要なことは、私たちのアプローチはクライアントのサイズに非現実的な制限を課さないため、ほとんどの FL アプリケーションで典型的な多数のクライアントからの学習を可能にすることです。

要約(オリジナル)

Federated Learning (FL) seeks to distribute model training across local clients without collecting data in a centralized data-center, hence removing data-privacy concerns. A major challenge for FL is data heterogeneity (where each client’s data distribution can differ) as it can lead to weight divergence among local clients and slow global convergence. The current SOTA FL methods designed for data heterogeneity typically impose regularization to limit the impact of non-IID data and are stateful algorithms, i.e., they maintain local statistics over time. While effective, these approaches can only be used for a special case of FL involving only a small number of reliable clients. For the more typical applications of FL where the number of clients is large (e.g., edge-device and mobile applications), these methods cannot be applied, motivating the need for a stateless approach to heterogeneous FL which can be used for any number of clients. We derive a first-order gradient regularization to penalize inconsistent local updates due to local data heterogeneity. Specifically, to mitigate weight divergence, we introduce a first-order approximation of the global data distribution into local objectives, which intuitively penalizes updates in the opposite direction of the global update. The end result is a stateless FL algorithm that achieves 1) significantly faster convergence (i.e., fewer communication rounds) and 2) higher overall converged performance than SOTA methods under non-IID data distribution. Importantly, our approach does not impose unrealistic limits on the client size, enabling learning from a large number of clients as is typical in most FL applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google