SBPF: Sensitiveness Based Pruning Framework For Convolutional Neural Network On Image Classification

要約

画像分類における畳み込みニューラルネットワーク（CNN）を圧縮するために、刈り込み技術が包括的に用いられている。しかし，大半の枝刈り手法では，C1-norm，BatchNorm値，勾配情報などの有用な支援パラメータを提供するために，十分に事前学習されたモデルを必要とし，事前学習されたモデルのパラメータが十分に最適化されていないと，フィルタ評価の矛盾を引き起こすことがある．そこで、オリジナルモデルに対して余分なダメージを与えることで、推論精度の観点から各層の重要度を評価する感性に基づく手法を提案する。推論精度の性能は、個々のパラメータではなく、全層にわたるパラメータの分布によって決まるため、感性に基づく方法は、パラメータの更新に対してロバストであると考えられる。つまり、不完全学習モデルと完全学習モデルで、各畳み込み層の重要度評価を同様に得ることができる。CIFAR-10上のVGG-16の場合、元のモデルが50エポックしか学習していない場合でも、完全に学習した場合と同様の層の重要度評価を得ることができる。そこで、定量化された感性に基づき、各層に比例したフィルタを削除する。本手法は、VGG-16、カスタマイズしたConv-4、ResNet-18を用いて、それぞれCIFAR-10、MNIST、CIFAR-100で検証した結果、効率的に刈り込みが行えることが分かった。

要約(オリジナル)

Pruning techniques are used comprehensively to compress convolutional neural networks (CNNs) on image classification. However, the majority of pruning methods require a well pre-trained model to provide useful supporting parameters, such as C1-norm, BatchNorm value and gradient information, which may lead to inconsistency of filter evaluation if the parameters of the pre-trained model are not well optimized. Therefore, we propose a sensitiveness based method to evaluate the importance of each layer from the perspective of inference accuracy by adding extra damage for the original model. Because the performance of the accuracy is determined by the distribution of parameters across all layers rather than individual parameter, the sensitiveness based method will be robust to update of parameters. Namely, we can obtain similar importance evaluation of each convolutional layer between the imperfect-trained and fully trained models. For VGG-16 on CIFAR-10, even when the original model is only trained with 50 epochs, we can get same evaluation of layer importance as the results when the model is trained fully. Then we will remove filters proportional from each layer by the quantified sensitiveness. Our sensitiveness based pruning framework is verified efficiently on VGG-16, a customized Conv-4 and ResNet-18 with CIFAR-10, MNIST and CIFAR-100, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL