Streaming Federated Learning with Markovian Data

要約

Federated Learning（FL）は、コミュニケーション効率の高い共同学習の重要なフレームワークとして認識されています。
ただし、ほとんどの理論的および経験的研究は、クライアントが事前に収集されたデータセットにアクセスできるという仮定に依存しており、クライアントが継続的にデータを収集するシナリオの調査が限られています。
多くの現実世界のアプリケーションでは、特に物理的または生物学的プロセスによってデータが生成される場合、クライアントデータストリームはしばしば非定常マルコフプロセスによってモデル化されます。
Standard I.I.D.とは異なります。
サンプリング、マルコフのデータストリームを使用したFLのパフォーマンスは、クライアントサンプル間の統計的依存関係により、時間の経過とともに統計的依存関係があるため、あまり理解されていません。
この論文では、FLがマルコフのデータストリームとの共同学習をサポートできるかどうかを調査します。
具体的には、MiniBatch SGD、ローカルSGD、および局所SGDのバリアントのパフォーマンスをMomentumの分析します。
標準的な仮定とスムーズな非凸クライアントの目標の下で肯定的に答えます。サンプルの複雑さは、i.i.d。
シナリオ。
ただし、マルコフのデータストリームのサンプルの複雑さは、I.I.Dの場合よりも高いままです。
サンプリング。

要約(オリジナル)

Federated learning (FL) is now recognized as a key framework for communication-efficient collaborative learning. Most theoretical and empirical studies, however, rely on the assumption that clients have access to pre-collected data sets, with limited investigation into scenarios where clients continuously collect data. In many real-world applications, particularly when data is generated by physical or biological processes, client data streams are often modeled by non-stationary Markov processes. Unlike standard i.i.d. sampling, the performance of FL with Markovian data streams remains poorly understood due to the statistical dependencies between client samples over time. In this paper, we investigate whether FL can still support collaborative learning with Markovian data streams. Specifically, we analyze the performance of Minibatch SGD, Local SGD, and a variant of Local SGD with momentum. We answer affirmatively under standard assumptions and smooth non-convex client objectives: the sample complexity is proportional to the inverse of the number of clients with a communication complexity comparable to the i.i.d. scenario. However, the sample complexity for Markovian data streams remains higher than for i.i.d. sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google