Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters

要約

一般化パフォーマンスは、現実世界のアプリケーションに適用される機械学習モデルを評価する際の重要な指標です。
適切な一般化は、限られた数のデータの下でトレーニングされた場合、モデルが目に見えないデータを正しく予測できることを示しています。
人気の分散学習フレームワークとして登場したフェデレーテッド ラーニング (FL) を使用すると、プライバシー要件に違反することなく、複数のデバイスまたはクライアントが共有モデルをトレーニングできます。
既存の文献では集中型機械学習アルゴリズムの一般化パフォーマンスが広範囲に研究されていますが、フェデレーション設定における同様の分析は存在しないか、損失関数に関する非常に限定的な仮定が存在します。
この論文では、アルゴリズムの安定性を利用してフェデレーテッド ラーニングの汎化パフォーマンスを分析することを目的としています。アルゴリズムの安定性は、1 つのデータ ポイントを摂動させたときのアルゴリズムの出力モデルの変化を測定します。
FedAvg、SCAFFOLD、および FedProx を含む 3 つの広く使用されているアルゴリズムが、凸および非凸の損失関数の下で研究されています。
私たちの分析では、これら 3 つのアルゴリズムによってトレーニングされたモデルの一般化パフォーマンスが、クライアントのデータセットの異質性およびアルゴリズムの収束動作に密接に関連していることが示されています。
特にi.i.d.では
この設定では、結果は確率的勾配降下法 (SGD) の古典的な結果を復元します。

要約(オリジナル)

Generalization performance is a key metric in evaluating machine learning models when applied to real-world applications. Good generalization indicates the model can predict unseen data correctly when trained under a limited number of data. Federated learning (FL), which has emerged as a popular distributed learning framework, allows multiple devices or clients to train a shared model without violating privacy requirements. While the existing literature has studied extensively the generalization performances of centralized machine learning algorithms, similar analysis in the federated settings is either absent or with very restrictive assumptions on the loss functions. In this paper, we aim to analyze the generalization performances of federated learning by means of algorithmic stability, which measures the change of the output model of an algorithm when perturbing one data point. Three widely-used algorithms are studied, including FedAvg, SCAFFOLD, and FedProx, under convex and non-convex loss functions. Our analysis shows that the generalization performances of models trained by these three algorithms are closely related to the heterogeneity of clients’ datasets as well as the convergence behaviors of the algorithms. Particularly, in the i.i.d. setting, our results recover the classical results of stochastic gradient descent (SGD).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google