Supernet Training for Federated Image Classification under System Heterogeneity

要約

多くのデバイスにまたがるディープニューラルネットワークの効率的な展開と、特にエッジデバイスでのリソースの制約は、データプライバシーの保護の問題が存在する場合の最も困難な問題の1つです。
従来のアプローチは、各ローカルトレーニングデータを分散化したまま（つまり、データの不均一性）、単一のグローバルモデルを改善するか、さまざまなアーキテクチャ設定をサポートする1​​回限りのネットワークをトレーニングして、さまざまな計算機能を備えた異種システムに対応するように進化しました（
つまり、モデルの不均一性）。
ただし、ほとんどの研究では、両方の方向を同時に検討していません。
この作業では、両方のシナリオを検討するための新しいフレームワークを提案します。つまり、クライアントがスーパーネットを送受信し、それ自体からサンプリングされたすべての可能なアーキテクチャを含むスーパーネットトレーニングのフェデレーション（FedSup）です。
これは、連合学習（FL）のモデル集約段階でのパラメーターの平均化が、スーパーネットトレーニングでの重み共有とどのように似ているかに触発されています。
具体的には、FedSupフレームワークでは、トレーニングシングルショットモデルで広く使用されている重み共有アプローチが、連合学習の平均化（FedAvg）と組み合わされています。
私たちのフレームワークでは、サブモデルをブロードキャストステージのクライアントに送信することで効率的なアルゴリズム（E-FedSup）を提示し、通信コストとトレーニングのオーバーヘッドを削減します。
FL環境でのスーパーネットトレーニングを強化し、広範な経験的評価を実施するためのいくつかの戦略を示します。
結果として得られるフレームワークは、いくつかの標準ベンチマークでのデータとモデルの両方の不均一性の堅牢性への道を開くことが示されています。

要約(オリジナル)

Efficient deployment of deep neural networks across many devices and resource constraints, especially on edge devices, is one of the most challenging problems in the presence of data-privacy preservation issues. Conventional approaches have evolved to either improve a single global model while keeping each local training data decentralized (i.e., data-heterogeneity) or to train a once-for-all network that supports diverse architectural settings to address heterogeneous systems equipped with different computational capabilities (i.e., model-heterogeneity). However, little research has considered both directions simultaneously. In this work, we propose a novel framework to consider both scenarios, namely Federation of Supernet Training (FedSup), where clients send and receive a supernet whereby it contains all possible architectures sampled from itself. It is inspired by how averaging parameters in the model aggregation stage of Federated Learning (FL) is similar to weight-sharing in supernet training. Specifically, in the FedSup framework, a weight-sharing approach widely used in the training single shot model is combined with the averaging of Federated Learning (FedAvg). Under our framework, we present an efficient algorithm (E-FedSup) by sending the sub-model to clients in the broadcast stage for reducing communication costs and training overhead. We demonstrate several strategies to enhance supernet training in the FL environment and conduct extensive empirical evaluations. The resulting framework is shown to pave the way for the robustness of both data- and model-heterogeneity on several standard benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google