要約
分散ディープラーニングは、地球観測プログラムによって毎日生成されるオープンデータの量の増加によってもたらされる課題のため、最近、リモートセンシング (RS) アプリケーションでより注目を集めています。
ただし、複数のノード間でモデルの更新を送信する際の高い通信コストが、スケーラブルな分散学習にとって大きなボトルネックとなっています。
勾配スパース化は、通信コストを削減し、トレーニング速度を加速するための効果的な勾配圧縮 (GC) 技術として検証されています。
既存の最先端の勾配スパース化手法は、ほとんどが「大きいほど絶対的であるほど重要である」という基準に基づいており、一般にパフォーマンスに影響を与えることが観察されている小さな勾配の重要性を無視しています。
近傍情報からの多様体構造の有益な表現に触発され、RS-DGC と呼ばれる、RS 画像解釈のための近傍統計指標を活用したシンプルかつ効果的な動的勾配圧縮スキームを提案します。
まず、ランダム ノイズの影響を軽減するために勾配近傍を導入することで勾配間の相互依存性を強化します。
RS-DGC の主要なコンポーネントは近傍統計インジケーター (NSI) です。これは、各反復での勾配送信前にローカル勾配をスパース化するために、各ノード上の指定された近傍内の勾配の重要性を定量化できます。
さらに、各層の重要度の変化をリアルタイムで追跡するために、層ごとの動的圧縮スキームが提案されています。
広範な下流タスクにより、RS 画像のインテリジェントな解釈という点で私たちの方法の優位性が検証されます。
たとえば、VGG-19 ネットワークを使用した NWPU-RESISC45 データセットで 50 倍を超える通信圧縮により、0.51% の精度向上を達成しました。
要約(オリジナル)
Distributed deep learning has recently been attracting more attention in remote sensing (RS) applications due to the challenges posed by the increased amount of open data that are produced daily by Earth observation programs. However, the high communication costs of sending model updates among multiple nodes are a significant bottleneck for scalable distributed learning. Gradient sparsification has been validated as an effective gradient compression (GC) technique for reducing communication costs and thus accelerating the training speed. Existing state-of-the-art gradient sparsification methods are mostly based on the ‘larger-absolute-more-important’ criterion, ignoring the importance of small gradients, which is generally observed to affect the performance. Inspired by informative representation of manifold structures from neighborhood information, we propose a simple yet effective dynamic gradient compression scheme leveraging neighborhood statistics indicator for RS image interpretation, termed RS-DGC. We first enhance the interdependence between gradients by introducing the gradient neighborhood to reduce the effect of random noise. The key component of RS-DGC is a Neighborhood Statistical Indicator (NSI), which can quantify the importance of gradients within a specified neighborhood on each node to sparsify the local gradients before gradient transmission in each iteration. Further, a layer-wise dynamic compression scheme is proposed to track the importance changes of each layer in real time. Extensive downstream tasks validate the superiority of our method in terms of intelligent interpretation of RS images. For example, we achieve an accuracy improvement of 0.51% with more than 50 times communication compression on the NWPU-RESISC45 dataset using VGG-19 network.
arxiv情報
| 著者 | Weiying Xie,Zixuan Wang,Jitao Ma,Daixun Li,Yunsong Li |
| 発行日 | 2023-12-29 09:24:26+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google