Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability

要約

断続的なクライアント可用性への対処は、フェデレーテッド ラーニング アルゴリズムを実際に展開するために重要です。
これまでの研究のほとんどは、クライアントが利用できない場合のダイナミクスにおける潜在的な非定常性を見落としているか、またはかなりのメモリ/計算オーバーヘッドを必要としています。
私たちは、導入環境が不確実な場合やクライアントがモバイルである場合に発生する可能性がある、異種かつ非定常のクライアント可用性の存在下でのフェデレーテッド ラーニングを研究しています。
最も広く採用されているフェデレーテッド ラーニング アルゴリズムである FedAvg を使用して説明するように、異質性と非定常性がクライアントの可用性の低下に与える影響は重大である可能性があります。
我々は FedAPM を提案します。これには、(i) 標準 FedAvg に対して $O(1)$ の追加メモリと計算だけで、利用不能による計算ミスを補い、(ii) フェデレーテッド ラーニング内でローカル更新を均等に拡散する、新しいアルゴリズム構造が含まれています。
非定常力学にとらわれないにもかかわらず、暗黙のうわさ話を通じてシステムを悪用します。
FedAPM が、望ましい線形高速化特性を達成しながら、非凸対物レンズであっても静止点に収束することを示します。
私たちは、現実世界のデータセットにおける多様なクライアントの非可用性ダイナミクスに関する数値実験によって分析を裏付けます。

要約(オリジナル)

Addressing intermittent client availability is critical for the real-world deployment of federated learning algorithms. Most prior work either overlooks the potential non-stationarity in the dynamics of client unavailability or requires substantial memory/computation overhead. We study federated learning in the presence of heterogeneous and non-stationary client availability, which may occur when the deployment environments are uncertain, or the clients are mobile. The impacts of heterogeneity and non-stationarity on client unavailability can be significant, as we illustrate using FedAvg, the most widely adopted federated learning algorithm. We propose FedAPM, which includes novel algorithmic structures that (i) compensate for missed computations due to unavailability with only $O(1)$ additional memory and computation with respect to standard FedAvg, and (ii) evenly diffuse local updates within the federated learning system through implicit gossiping, despite being agnostic to non-stationary dynamics. We show that FedAPM converges to a stationary point of even non-convex objectives while achieving the desired linear speedup property. We corroborate our analysis with numerical experiments over diversified client unavailability dynamics on real-world data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google