NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients

要約

フェデレーテッド ラーニング (FL) により、データ プライバシーを維持しながら分散トレーニングが可能になりますが、遅いクライアントや能力のないクライアントによっては、総トレーニング時間が大幅に遅くなり、パフォーマンスが低下する可能性があります。
ストラグラーの影響を軽減するために、異種コンピューティングやネットワーク帯域幅などのシステムの異種性に対処してきました。
これまでの研究では、モデルをサブモデルに分割することでシステムの異質性に対処していましたが、複数のサブモデル アーキテクチャのトレーニングから生じる潜在的な不一致を考慮しておらず、モデル アーキテクチャの設計における柔軟性が限られていました。
私たちは、深さ方向と幅方向のスケーリングの両方を使用してディープ ニューラル ネットワークをサブモデルに効率的に分割する一般化されたフレームワークである、ネストされたフェデレーション ラーニング (NeFL) を提案します。
複数のサブモデル アーキテクチャのトレーニングによって生じる不一致に対処するために、NeFL は各サブモデルでトレーニングされているパラメータからパラメータのサブセットを切り離します。
集計中にこれらの分離されたパラメータを処理するための平均化方法が提案されています。
NeFL を使用すると、リソースに制約のあるデバイスが FL パイプラインに効果的に参加できるようになり、モデル トレーニング用の大規模なデータセットが容易になります。
実験では、NeFL がベースラインのアプローチと比較して、特に最悪の場合のサブモデルでパフォーマンスの向上を達成することを示しています (CIFAR-100 で 7.63% の改善)。
さらに、NeFL は、事前トレーニングされたモデルの活用や統計的異質性の考慮など、FL の最近の進歩と一致しています。
私たちのコードはオンラインで入手できます。

要約(オリジナル)

Federated learning (FL) enables distributed training while preserving data privacy, but stragglers-slow or incapable clients-can significantly slow down the total training time and degrade performance. To mitigate the impact of stragglers, system heterogeneity, including heterogeneous computing and network bandwidth, has been addressed. While previous studies have addressed system heterogeneity by splitting models into submodels, they offer limited flexibility in model architecture design, without considering potential inconsistencies arising from training multiple submodel architectures. We propose nested federated learning (NeFL), a generalized framework that efficiently divides deep neural networks into submodels using both depthwise and widthwise scaling. To address the inconsistency arising from training multiple submodel architectures, NeFL decouples a subset of parameters from those being trained for each submodel. An averaging method is proposed to handle these decoupled parameters during aggregation. NeFL enables resource-constrained devices to effectively participate in the FL pipeline, facilitating larger datasets for model training. Experiments demonstrate that NeFL achieves performance gain, especially for the worst-case submodel compared to baseline approaches (7.63% improvement on CIFAR-100). Furthermore, NeFL aligns with recent advances in FL, such as leveraging pre-trained models and accounting for statistical heterogeneity. Our code is available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google