Pruning Deep Convolutional Neural Network Using Conditional Mutual Information

要約

畳み込みニューラル ネットワーク (CNN) は、画像分類タスクで高いパフォーマンスを実現しますが、モデル サイズが大きいため、リソースが限られたハードウェアに展開するのは困難です。
この問題に対処するために、私たちは相互情報を活用します。これは、入力特徴または出力ラベルとネットワーク層の間で共有される情報を測定することによって、深層学習モデルが情報をどのように保持および処理するかについて貴重な洞察を提供するメトリクスです。
この研究では、各層で最も有益な特徴を特定し、選択的に保持する CNN のための構造化フィルター プルーニング アプローチを提案します。
私たちのアプローチでは、行列ベースの Renyi {\alpha} 次エントロピー数値法を使用して計算された条件付き相互情報 (CMI) 値に基づいて特徴マップの重要性をランク付けすることで、各レイヤーを連続的に評価します。
さまざまなレイヤーにわたる特徴間の相関を捕捉するために、CMI のいくつかの定式化を提案します。
次に、重要でない特徴を取り除くための CMI 値のカットオフ ポイントを決定するためのさまざまな戦略を開発します。
このアプローチにより、前方と後方の両方向での並列枝刈りが可能になり、精度を維持しながらモデルのサイズを大幅に削減できます。
CIFAR-10 データセットを使用して VGG16 アーキテクチャでテストしたところ、提案された方法はフィルタの数を 3 分の 1 以上削減し、テスト精度の低下はわずか 0.32% でした。

要約(オリジナル)

Convolutional Neural Networks (CNNs) achieve high performance in image classification tasks but are challenging to deploy on resource-limited hardware due to their large model sizes. To address this issue, we leverage Mutual Information, a metric that provides valuable insights into how deep learning models retain and process information through measuring the shared information between input features or output labels and network layers. In this study, we propose a structured filter-pruning approach for CNNs that identifies and selectively retains the most informative features in each layer. Our approach successively evaluates each layer by ranking the importance of its feature maps based on Conditional Mutual Information (CMI) values, computed using a matrix-based Renyi {\alpha}-order entropy numerical method. We propose several formulations of CMI to capture correlation among features across different layers. We then develop various strategies to determine the cutoff point for CMI values to prune unimportant features. This approach allows parallel pruning in both forward and backward directions and significantly reduces model size while preserving accuracy. Tested on the VGG16 architecture with the CIFAR-10 dataset, the proposed method reduces the number of filters by more than a third, with only a 0.32% drop in test accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google