Self Similarity Matrix based CNN Filter Pruning

要約

近年、ディープラーニングのソリューションの多くは、モバイル機器への搭載をターゲットにしています。そのため、軽量なモデルの開発の必要性がより切迫しています。もう一つの解決策は、通常のディープラーニングモデルの最適化と刈り込みを行うことである。本論文では、2次元CNNフィルタから計算される自己相似性行列（SSM）の助けを借りて、CNNモデル刈り込みの問題に取り組む。我々は、出力に類似した活性化マップを寄与する冗長なフィルタをランク付けし、刈り込むための2つの新規なアルゴリズムを提案する。本手法の大きな特徴の一つは、モデルの学習後に微調整を行う必要がないことである。学習と刈り込みは同時に行われる。本手法のベンチマークとして、最も一般的なCNNモデルであるResNetとVGGを用い、CIFAR-10データセットにおけるその性能を記録する。

要約(オリジナル)

In recent years, most of the deep learning solutions are targeted to be deployed in mobile devices. This makes the need for development of lightweight models all the more imminent. Another solution is to optimize and prune regular deep learning models. In this paper, we tackle the problem of CNN model pruning with the help of Self-Similarity Matrix (SSM) computed from the 2D CNN filters. We propose two novel algorithms to rank and prune redundant filters which contribute similar activation maps to the output. One of the key features of our method is that there is no need of finetuning after training the model. Both the training and pruning process is completed simultaneously. We benchmark our method on two of the most popular CNN models – ResNet and VGG and record their performance on the CIFAR-10 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL