Decentralized Federated Learning Over Imperfect Communication Channels

要約

この論文では、不完全な通信チャネルが分散型フェデレーテッド ラーニング (D-FL) に及ぼす影響を分析し、ネットワーク トポロジと不完全なチャネルに適応して、トレーニング ラウンドごとのローカル アグリゲーションの最適な数を決定します。
まず、完全なチャネルと集約を必要とする理想的なグローバル モデルから、不完全なチャネルの下でローカルに集約された D-FL モデルのバイアスを導き出します。
この偏りは、過度のローカル集約により通信エラーが蓄積し、収束が低下する可能性があることを明らかにしています。
もう 1 つの重要な側面は、バイアスに基づいて D-FL の収束上限を分析することです。
境界を最小限に抑えることで、チャネルに関する知識がない場合の通信エラーの蓄積とのトレードオフのバランスをとるために、ローカル アグリゲーションの最適な数が特定されます。
この知識があれば、通信エラーの影響を軽減でき、集約全体で収束の上限を下げることができます。
実験では、収束分析を検証し、広く考慮されている 2 つの画像分類タスクにおける局所集約の最適な数も特定します。
最適な数のローカル集約を備えた D-FL は、トレーニング精度において潜在的な代替手段よりも 10% 以上優れていることがわかります。

要約(オリジナル)

This paper analyzes the impact of imperfect communication channels on decentralized federated learning (D-FL) and subsequently determines the optimal number of local aggregations per training round, adapting to the network topology and imperfect channels. We start by deriving the bias of locally aggregated D-FL models under imperfect channels from the ideal global models requiring perfect channels and aggregations. The bias reveals that excessive local aggregations can accumulate communication errors and degrade convergence. Another important aspect is that we analyze a convergence upper bound of D-FL based on the bias. By minimizing the bound, the optimal number of local aggregations is identified to balance a trade-off with accumulation of communication errors in the absence of knowledge of the channels. With this knowledge, the impact of communication errors can be alleviated, allowing the convergence upper bound to decrease throughout aggregations. Experiments validate our convergence analysis and also identify the optimal number of local aggregations on two widely considered image classification tasks. It is seen that D-FL, with an optimal number of local aggregations, can outperform its potential alternatives by over 10% in training accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google