Network Pruning via Feature Shift Minimization

要約

チャネルプルーニングは、ディープネットワークモデルの複雑さを軽減するために広く使用されています。
最近のプルーニング方法は通常、チャネルの重要度基準を提案することにより、ネットワークのどの部分を破棄するかを識別します。
ただし、最近の研究では、これらの基準がすべての条件でうまく機能するとは限らないことが示されています。
本論文では、特徴とフィルタの両方の情報を収束することによって特徴シフトを評価する、CNNモデルを圧縮するための新しい特徴シフト最小化（FSM）法を提案します。
具体的には、まず、さまざまな層の深さでいくつかの一般的な方法を使用して圧縮効率を調査し、次に機能シフトの概念を提案します。
次に、直接計算することが難しいため、特徴シフトの大きさを推定するための近似法を紹介します。
さらに、精度の低下を補償し、ネットワークの圧縮効率を向上させるための分布最適化アルゴリズムを紹介します。
提案された方法は、広範な実験によって検証された、さまざまなベンチマークネットワークおよびデータセットで最先端のパフォーマンスをもたらします。
コードは\url{https://github.com/lscgx/FSM}で入手できます。

要約(オリジナル)

Channel pruning is widely used to reduce the complexity of deep network models. Recent pruning methods usually identify which parts of the network to discard by proposing a channel importance criterion. However, recent studies have shown that these criteria do not work well in all conditions. In this paper, we propose a novel Feature Shift Minimization (FSM) method to compress CNN models, which evaluates the feature shift by converging the information of both features and filters. Specifically, we first investigate the compression efficiency with some prevalent methods in different layer-depths and then propose the feature shift concept. Then, we introduce an approximation method to estimate the magnitude of the feature shift, since it is difficult to compute it directly. Besides, we present a distribution-optimization algorithm to compensate for the accuracy loss and improve the network compression efficiency. The proposed method yields state-of-the-art performance on various benchmark networks and datasets, verified by extensive experiments. The codes can be available at \url{https://github.com/lscgx/FSM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google