Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network

要約

Federated Learning (FL) を使用すると、リソースが限られた多くのデバイスがデータを共有せずにモデルを共同でトレーニングできるようになります。
ただし、既存の研究の多くは、グローバル モデルとローカル モデルが同じサイズであるモデル同種 FL に焦点を当てており、さまざまなデバイスの本質的に異種の計算能力を無視し、リソースに制約のあるデバイスが FL に寄与することを制限しています。
この論文では、モデルの異種混合 FL を考慮し、小規模な計算能力を持つデバイスが部分モデル (グローバル モデルのサブセット) で動作し、グローバル モデルに貢献する Federated Partial Model Training (FedPMT) を提案します。
隠れ層のニューロンをランダムに削除するドロップアウト ベースの部分モデル生成とは異なり、FedPMT のモデル トレーニングは逆伝播の観点から実現されます。
そのため、FedPMT のすべてのデバイスは、グローバル モデルの最も重要な部分を優先します。
理論分析の結果、提案された部分モデルのトレーニング設計は、広く採用されている統合平均 (FedAvg) アルゴリズム $\mathcal{O}(1/T)$ と同様の収束率を示し、準最適性のギャップは定数係数で拡大されています。
FedPMT のモデル分割設計に関連します。
実験結果は、FedPMT が既存のベンチマークである FedDrop を大幅に上回るパフォーマンスを示しています。
一方、人気のあるモデル同種ベンチマークである FedAvg と比較して、FedPMT はより短い完了時間で学習目標に到達するため、学習精度と完了時間の間でより良いトレードオフが実現されます。

要約(オリジナル)

Federated Learning (FL) enables many resource-limited devices to train a model collaboratively without data sharing. However, many existing works focus on model-homogeneous FL, where the global and local models are the same size, ignoring the inherently heterogeneous computational capabilities of different devices and restricting resource-constrained devices from contributing to FL. In this paper, we consider model-heterogeneous FL and propose Federated Partial Model Training (FedPMT), where devices with smaller computational capabilities work on partial models (subsets of the global model) and contribute to the global model. Different from Dropout-based partial model generation, which removes neurons in hidden layers at random, model training in FedPMT is achieved from the back-propagation perspective. As such, all devices in FedPMT prioritize the most crucial parts of the global model. Theoretical analysis shows that the proposed partial model training design has a similar convergence rate to the widely adopted Federated Averaging (FedAvg) algorithm, $\mathcal{O}(1/T)$, with the sub-optimality gap enlarged by a constant factor related to the model splitting design in FedPMT. Empirical results show that FedPMT significantly outperforms the existing benchmark FedDrop. Meanwhile, compared to the popular model-homogeneous benchmark, FedAvg, FedPMT reaches the learning target in a shorter completion time, thus achieving a better trade-off between learning accuracy and completion time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google