Dynamic Structure Pruning for Compressing CNNs

要約

構造の刈り込みは、ニューラル ネットワークを圧縮および高速化するための効果的な方法です。
フィルターとチャネルのプルーニングは、現実的な高速化とハードウェアの互換性の点で、他の構造のプルーニング方法よりも好ましいですが、チャネル内プルーニングなどのより細かい粒度のプルーニング方法は、よりコンパクトで計算効率の高いネットワークを生成できると予想されます。
典型的なチャネル内プルーニング方法は、検索スペースが大きいため、静的で手作りのプルーニング粒度を利用します。これにより、プルーニング パフォーマンスを改善する余地が残されています。
この作業では、動的構造プルーニングと呼ばれる新しい構造プルーニング方法を導入して、チャネル内プルーニングの最適なプルーニング粒度を特定します。
既存のチャネル内プルーニング方法とは対照的に、提案された方法は、ディープ ニューラル ネットワークをトレーニングしながら、各レイヤーの動的プルーニング粒度を自動的に最適化します。
これを達成するために、フィルターグループの勾配ベースの学習に基づいて、枝刈りの粒度を効率的に学習するように設計された微分可能なグループ学習方法を提案します。
実験結果は、動的構造プルーニングが最先端のプルーニング パフォーマンスを実現し、チャネルのプルーニングと比較して GPU でより現実的な加速を実現することを示しています。
特に、ImageNet データセットの精度を低下させることなく、ResNet50 の FLOP を 71.85% 削減します。
コードは https://github.com/irishev/DSP で入手できます。

要約(オリジナル)

Structure pruning is an effective method to compress and accelerate neural networks. While filter and channel pruning are preferable to other structure pruning methods in terms of realistic acceleration and hardware compatibility, pruning methods with a finer granularity, such as intra-channel pruning, are expected to be capable of yielding more compact and computationally efficient networks. Typical intra-channel pruning methods utilize a static and hand-crafted pruning granularity due to a large search space, which leaves room for improvement in their pruning performance. In this work, we introduce a novel structure pruning method, termed as dynamic structure pruning, to identify optimal pruning granularities for intra-channel pruning. In contrast to existing intra-channel pruning methods, the proposed method automatically optimizes dynamic pruning granularities in each layer while training deep neural networks. To achieve this, we propose a differentiable group learning method designed to efficiently learn a pruning granularity based on gradient-based learning of filter groups. The experimental results show that dynamic structure pruning achieves state-of-the-art pruning performance and better realistic acceleration on a GPU compared with channel pruning. In particular, it reduces the FLOPs of ResNet50 by 71.85% without accuracy degradation on the ImageNet dataset. Our code is available at https://github.com/irishev/DSP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google