Asynchronous Online Federated Learning with Reduced Communication Requirements

要約

オンライン フェデレーション ラーニング (FL) を使用すると、地理的に分散したデバイスが、ローカルで利用可能なストリーミング データからグローバル共有モデルを学習できます。
ほとんどのオンライン FL 文献は、参加するクライアントと通信チャネルに関する最良のシナリオを考慮しています。
ただし、これらの仮定は、実際のアプリケーションでは満たされないことがよくあります。
非同期設定は、利用可能な計算能力とバッテリーの制約による異種クライアントの参加や、通信チャネルやストラグラー デバイスによる遅延など、より現実的な環境を反映できます。
さらに、ほとんどのアプリケーションでは、エネルギー効率を考慮する必要があります。
部分共有ベースの通信の原則を使用して、通信効率の高い非同期オンライン連合学習 (PAO-Fed) 戦略を提案します。
参加者の通信オーバーヘッドを削減することにより、提案された方法は、学習タスクへの参加をよりアクセスしやすく効率的にします。
さらに、提案された集計メカニズムは、ランダムな参加を考慮し、遅延した更新を処理し、精度への影響を軽減します。
提案されたPAO-Fed法の1次および2次収束を証明し、その定常状態の平均二乗偏差の式を取得します。
最後に、包括的なシミュレーションを実行して、合成データセットと実際のデータセットの両方で提案された方法のパフォーマンスを調査します。
シミュレーションは、非同期設定で、提案された PAO-Fed が、通信オーバーヘッドを 98% 削減しながら、オンライン連合確率的勾配と同じ収束特性を達成できることを明らかにしています。

要約(オリジナル)

Online federated learning (FL) enables geographically distributed devices to learn a global shared model from locally available streaming data. Most online FL literature considers a best-case scenario regarding the participating clients and the communication channels. However, these assumptions are often not met in real-world applications. Asynchronous settings can reflect a more realistic environment, such as heterogeneous client participation due to available computational power and battery constraints, as well as delays caused by communication channels or straggler devices. Further, in most applications, energy efficiency must be taken into consideration. Using the principles of partial-sharing-based communications, we propose a communication-efficient asynchronous online federated learning (PAO-Fed) strategy. By reducing the communication overhead of the participants, the proposed method renders participation in the learning task more accessible and efficient. In addition, the proposed aggregation mechanism accounts for random participation, handles delayed updates and mitigates their effect on accuracy. We prove the first and second-order convergence of the proposed PAO-Fed method and obtain an expression for its steady-state mean square deviation. Finally, we conduct comprehensive simulations to study the performance of the proposed method on both synthetic and real-life datasets. The simulations reveal that in asynchronous settings, the proposed PAO-Fed is able to achieve the same convergence properties as that of the online federated stochastic gradient while reducing the communication overhead by 98 percent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google