Pruning-aware Sparse Regularization for Network Pruning

要約

構造ニューラル ネットワークの枝刈りは、最終的な出力精度にとって重要性の低いフィルターを枝刈りすることで、ディープ畳み込みニューラル ネットワーク (CNN) 内の冗長なチャネルを削除することを目的としています。
枝刈り後のパフォーマンスの低下を軽減するために、多くの方法では、スパース正則化による損失を利用して、構造化されたスパース性を生成します。
この論文では、これらのスパーストレーニングベースの方法を分析し、枝刈りされていないチャネルの正則化が不要であることを発見しました。
さらに、ネットワークの容量が制限されるため、適合不足が生じます。
この問題を解決するために、我々は、枝刈りを意識したスパース正則化を備えた、MaskSparsity という名前の新しい枝刈り方法を提案します。
MaskSparsity は、モデルのすべてのフィルターではなく、プルーニング マスクによって選択された特定のフィルターにきめの細かいスパース正則化を適用します。
MaskSparity のきめ細かいスパース正則化の前に、グローバル スパース正則化の実行など、多くのメソッドを使用して枝刈りマスクを取得できます。
MaskSparsity は、パラメータの 60.34% を削除することで、ResNet-110 で 63.03% の FLOP 削減を達成し、CIFAR-10 ではトップ 1 の精度を損なうことはありません。
ILSVRC-2012 では、MaskSparsity は ResNet-50 で 51.07% 以上の FLOP を削減し、トップ 1 の精度での損失は 0.76% のみです。
コードは https://github.com/CASIA-IVA-Lab/MaskSparsity でリリースされています。
さらに、MaskSparity のコードを PyTorch プルーニング ツールキット EasyPruner (https://gitee.com/casia_iva_engineer/easypruner) に統合しました。

要約(オリジナル)

Structural neural network pruning aims to remove the redundant channels in the deep convolutional neural networks (CNNs) by pruning the filters of less importance to the final output accuracy. To reduce the degradation of performance after pruning, many methods utilize the loss with sparse regularization to produce structured sparsity. In this paper, we analyze these sparsity-training-based methods and find that the regularization of unpruned channels is unnecessary. Moreover, it restricts the network’s capacity, which leads to under-fitting. To solve this problem, we propose a novel pruning method, named MaskSparsity, with pruning-aware sparse regularization. MaskSparsity imposes the fine-grained sparse regularization on the specific filters selected by a pruning mask, rather than all the filters of the model. Before the fine-grained sparse regularization of MaskSparity, we can use many methods to get the pruning mask, such as running the global sparse regularization. MaskSparsity achieves 63.03%-FLOPs reduction on ResNet-110 by removing 60.34% of the parameters, with no top-1 accuracy loss on CIFAR-10. On ILSVRC-2012, MaskSparsity reduces more than 51.07% FLOPs on ResNet-50, with only a loss of 0.76% in the top-1 accuracy. The code is released at https://github.com/CASIA-IVA-Lab/MaskSparsity. Moreover, we have integrated the code of MaskSparity into a PyTorch pruning toolkit, EasyPruner, at https://gitee.com/casia_iva_engineer/easypruner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google