Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach

要約

深層学習モデルは通常、数百万の学習可能な重みを含むため、ストレージスペースを削減し、ランタイム効率を向上させたより効率的なネットワーク構造への要求が高まっています。プルーニングは、最も一般的なネットワーク圧縮技術の一つである。本論文では、新しい非構造化刈り込みパイプライン、Attention-based Simultaneous sparse structure and Weight Learning (ASWL)を提案する。ASWLは、従来のチャンネル単位や重み単位の注意のメカニズムとは異なり、各レイヤーに対するレイヤー単位の注意によって刈り込み比率を計算する効率的なアルゴリズムを提案し、密なネットワークと疎なネットワークの両方の重みを追跡することで、刈り込み構造がランダムに初期化した重みから同時に学習されるようにしたものである。MNIST、Cifar10、ImageNetを用いた実験により、ASWLは最先端のネットワーク刈り込み手法と比較して、精度、刈り込み率、操作効率の面で優れた刈り込み結果を達成することが示された。

要約(オリジナル)

As a deep learning model typically contains millions of trainable weights, there has been a growing demand for a more efficient network structure with reduced storage space and improved run-time efficiency. Pruning is one of the most popular network compression techniques. In this paper, we propose a novel unstructured pruning pipeline, Attention-based Simultaneous sparse structure and Weight Learning (ASWL). Unlike traditional channel-wise or weight-wise attention mechanism, ASWL proposed an efficient algorithm to calculate the pruning ratio through layer-wise attention for each layer, and both weights for the dense network and the sparse network are tracked so that the pruned structure is simultaneously learned from randomly initialized weights. Our experiments on MNIST, Cifar10, and ImageNet show that ASWL achieves superior pruning results in terms of accuracy, pruning ratio and operating efficiency when compared with state-of-the-art network pruning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL