Toward efficient resource utilization at edge nodes in federated learning

要約

フェデレーテッド ラーニング (FL) を使用すると、エッジ ノードがデータを共有せずにグローバル モデルの構築に協力して貢献できます。
これは、ローカルでプライベートなモデル更新を計算するデバイスによって実現され、その後サーバーによって集約されます。
ただし、深層学習アプリケーションに一般的なモデル サイズが大きくなると、計算リソースの制約とネットワーク通信が深刻なボトルネックになる可能性があります。
エッジ ノードのハードウェア リソース (RAM、CPU) は限られている傾向があり、フェデレーテッド フリート アプリケーションをスケーリングする場合、エッジでのネットワーク帯域幅と信頼性が懸念事項となります。
このペーパーでは、各グローバル トレーニング ラウンドにおけるデバイスのリソース使用率とサーバーとネットワークの負荷を削減するために、転移学習にヒントを得た FL 戦略を提案および評価します。
ローカル モデルの更新ごとに、トレーニングするレイヤーをランダムに選択し、モデルの残りの部分をフリーズします。
そうすることで、未トレーニングのレイヤーの重みがすべてサーバーに転送されないようにすることで、サーバーの負荷とラウンドあたりの通信コストの両方を削減できます。
この研究の目的は、提案された戦略の下でデバイス上のリソース利用とグローバル モデルの収束の間の潜在的なトレードオフを経験的に調査することです。
フェデレーテッド ラーニング フレームワーク FEDn を使用してこのアプローチを実装します。
さまざまなデータセット (CIFAR-10、CASA、IMDB) に対して多数の実験が実行され、さまざまな深層学習モデル アーキテクチャを使用してさまざまなタスクが実行されました。
私たちの結果は、モデルを部分的にトレーニングすることでトレーニング プロセスを加速し、デバイス上のリソースを効率的に利用し、モデル レイヤーの 25% と 50% をトレーニングした場合に、データ送信をそれぞれ約 75% と 53% 削減できることを示しています。
結果として生じるグローバル モデルの精度が損なわれます。

要約(オリジナル)

Federated learning (FL) enables edge nodes to collaboratively contribute to constructing a global model without sharing their data. This is accomplished by devices computing local, private model updates that are then aggregated by a server. However, computational resource constraints and network communication can become a severe bottleneck for larger model sizes typical for deep learning applications. Edge nodes tend to have limited hardware resources (RAM, CPU), and the network bandwidth and reliability at the edge is a concern for scaling federated fleet applications. In this paper, we propose and evaluate a FL strategy inspired by transfer learning in order to reduce resource utilization on devices, as well as the load on the server and network in each global training round. For each local model update, we randomly select layers to train, freezing the remaining part of the model. In doing so, we can reduce both server load and communication costs per round by excluding all untrained layer weights from being transferred to the server. The goal of this study is to empirically explore the potential trade-off between resource utilization on devices and global model convergence under the proposed strategy. We implement the approach using the federated learning framework FEDn. A number of experiments were carried out over different datasets (CIFAR-10, CASA, and IMDB), performing different tasks using different deep-learning model architectures. Our results show that training the model partially can accelerate the training process, efficiently utilizes resources on-device, and reduce the data transmission by around 75% and 53% when we train 25%, and 50% of the model layers, respectively, without harming the resulting global model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google