Memory-adaptive Depth-wise Heterogenous Federated Learning

要約

フェデレーテッド ラーニングは、ローカル データを共有せずに、複数のクライアントが協力してモデルをトレーニングできるようにする有望なパラダイムです。
ただし、フェデレーテッド ラーニングでは、さまざまなメモリ機能を備えた携帯電話や IoT デバイスなどの異種デバイスが存在すると、規模が制限されるため、モデルのパフォーマンスをトレーニングできます。
メモリ制限に対処する主流のアプローチは、幅を削減する手法に焦点を当てています。この手法では、さまざまなクライアントがローカルで幅を削減したサブネットワークをトレーニングし、その後サーバーがサブネットワークを集約します。
これらの方法で生成されたグローバル モデルは、集約フェーズで変化するサブネットワーク幅を処理するために実行されるアクションの悪影響により、パフォーマンスの低下に悩まされます。
この論文では、FeDepth と呼ばれる FL のメモリ適応深度学習ソリューションを紹介します。これは、各クライアントのメモリ バジェットに従って完全なモデルをブロックに適応的に分解し、ブロックを順次トレーニングして完全な推論モデルを取得します。
私たちの手法は最先端のアプローチを上回り、CIFAR-10 と CIFAR-100 でトップ 1 の精度がそれぞれ 5% と 10% 以上向上しました。
また、ViT における深さ方向の微調整の有効性も示します。
私たちの調査結果は、異種デバイスを使用したフェデレーテッド ラーニングにおけるメモリ認識技術の重要性と、グローバル モデルのパフォーマンス向上における深さ方向のトレーニング戦略の成功を強調しています。

要約(オリジナル)

Federated learning is a promising paradigm that allows multiple clients to collaboratively train a model without sharing the local data. However, the presence of heterogeneous devices in federated learning, such as mobile phones and IoT devices with varying memory capabilities, would limit the scale and hence the performance of the model could be trained. The mainstream approaches to address memory limitations focus on width-slimming techniques, where different clients train subnetworks with reduced widths locally and then the server aggregates the subnetworks. The global model produced from these methods suffers from performance degradation due to the negative impact of the actions taken to handle the varying subnetwork widths in the aggregation phase. In this paper, we introduce a memory-adaptive depth-wise learning solution in FL called FeDepth, which adaptively decomposes the full model into blocks according to the memory budgets of each client and trains blocks sequentially to obtain a full inference model. Our method outperforms state-of-the-art approaches, achieving 5% and more than 10% improvements in top-1 accuracy on CIFAR-10 and CIFAR-100, respectively. We also demonstrate the effectiveness of depth-wise fine-tuning on ViT. Our findings highlight the importance of memory-aware techniques for federated learning with heterogeneous devices and the success of depth-wise training strategy in improving the global model’s performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google