An Effective Information Theoretic Framework for Channel Pruning

要約

チャンネル刈り込みは、畳み込みニューラルネットワークを高速化・圧縮するための有望な手法である。しかし、現在の刈り込みアルゴリズムは、どのように層ごとの刈り込み比率を適切に割り当て、説得力のある基準で最も重要でないチャンネルを破棄するかという未解決の問題が残っている。本論文では、ニューラルネットワークの情報理論と解釈可能性を利用した、新しいチャンネル刈り込みアプローチを提案する。具体的には、情報エントロピーを畳み込み層に期待される情報量とみなす。また、行列を連立一次方程式と仮定した場合、高ランクの行列ほど、より多くの解が存在することを表し、より不確実であることを示す。情報理論の観点からも、ランクは情報量を表すことができる。ニューラルネットワークにおいて、ランクとエントロピーを畳み込み層の2つの情報指標とみなし、それらの妥協点に到達するための融合関数を提案する。層ごとの刈り込み比率を事前に定義する際、より解釈しやすい解を提供するために、発見的かつ工学的なチューニングの代わりに、情報集中度を参照として採用する。さらに、ニューラルネットワークの解釈可能性において強力なツールであるシャプレー値を活用し、チャネルの寄与を評価し、性能を維持しながらモデル圧縮のために最も重要でないチャネルを破棄する。広範な実験により、本手法の有効性と有望な性能が実証された。例えば、CIFAR-10上のResNet-56において、45.5%のFLOPsを削減し、40.3%のパラメータを削除した場合、本手法は精度を0.21%向上させた。また、ImageNetのResNet-50では、41.6%のFLOPsを削減し、35.0%のパラメータを削除することで、Top-1/Top-5の精度が0.43%/0.11%低下する。

要約(オリジナル)

Channel pruning is a promising method for accelerating and compressing convolutional neural networks. However, current pruning algorithms still remain unsolved problems that how to assign layer-wise pruning ratios properly and discard the least important channels with a convincing criterion. In this paper, we present a novel channel pruning approach via information theory and interpretability of neural networks. Specifically, we regard information entropy as the expected amount of information for convolutional layers. In addition, if we suppose a matrix as a system of linear equations, a higher-rank matrix represents there exist more solutions to it, which indicates more uncertainty. From the point of view of information theory, the rank can also describe the amount of information. In a neural network, considering the rank and entropy as two information indicators of convolutional layers, we propose a fusion function to reach a compromise of them, where the fusion results are defined as “information concentration”. When pre-defining layer-wise pruning ratios, we employ the information concentration as a reference instead of heuristic and engineering tuning to provide a more interpretable solution. Moreover, we leverage Shapley values, which are a potent tool in the interpretability of neural networks, to evaluate the channel contributions and discard the least important channels for model compression while maintaining its performance. Extensive experiments demonstrate the effectiveness and promising performance of our method. For example, our method improves the accuracy by 0.21% when reducing 45.5% FLOPs and removing 40.3% parameters for ResNet-56 on CIFAR-10. Moreover, our method obtains loss in Top-1/Top-5 accuracies of 0.43%/0.11% by reducing 41.6% FLOPs and removing 35.0% parameters for ResNet-50 on ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL