NeFL: Nested Federated Learning for Heterogeneous Clients

要約

フェデレーテッド ラーニング (FL) は、プライバシーを維持した分散学習における有望なアプローチです。
ただし、FL のトレーニング パイプライン中に、遅いクライアントまたは能力のないクライアント (つまり、ストラグラー) により、合計トレーニング時間が遅くなり、パフォーマンスが低下します。
異種コンピューティングやネットワーク帯域幅などのシステムの異種混合は、ストラグラーの影響を軽減するために対処されてきました。
以前の研究ではモデルを分割してこの問題に取り組んでいましたが、モデルのアーキテクチャに関しては自由度が低くなっていました。
私たちは、深さ方向と幅方向のスケーリングの両方を使用してモデルをサブモデルに効率的に分割する一般化されたフレームワークである、ネストされたフェデレーテッド ラーニング (NeFL) を提案します。
NeFL は、モデルを適応ステップ サイズで常微分方程式 (ODE) を解くものとして解釈することによって実装されます。
異なるアーキテクチャで複数のサブモデルをトレーニングするときに生じる不一致に対処するために、いくつかのパラメーターを分離します。
NeFL を使用すると、リソースに制約のあるクライアントが FL パイプラインに効果的に参加し、モデルを大量のデータでトレーニングできるようになります。
一連の実験を通じて、特に最悪の場合のサブモデル（CIFAR-10 で 8.33 の改善）において、NeFL が大幅な改善につながることを実証しました。
さらに、NeFL がフロリダ州での最近の研究と一致していることを実証します。

要約(オリジナル)

Federated learning (FL) is a promising approach in distributed learning keeping privacy. However, during the training pipeline of FL, slow or incapable clients (i.e., stragglers) slow down the total training time and degrade performance. System heterogeneity, including heterogeneous computing and network bandwidth, has been addressed to mitigate the impact of stragglers. Previous studies split models to tackle the issue, but with less degree-of-freedom in terms of model architecture. We propose nested federated learning (NeFL), a generalized framework that efficiently divides a model into submodels using both depthwise and widthwise scaling. NeFL is implemented by interpreting models as solving ordinary differential equations (ODEs) with adaptive step sizes. To address the inconsistency that arises when training multiple submodels with different architecture, we decouple a few parameters. NeFL enables resource-constrained clients to effectively join the FL pipeline and the model to be trained with a larger amount of data. Through a series of experiments, we demonstrate that NeFL leads to significant gains, especially for the worst-case submodel (e.g., 8.33 improvement on CIFAR-10). Furthermore, we demonstrate NeFL aligns with recent studies in FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google