CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization

要約

タイトル：CATRO：クラス応答率最適化によるチャネルの剪定

要約：

– 深層畳み込みニューラルネットワークは、多くのアプリケーションシナリオで高いパラメータと計算冗長性を持つため、軽量で効率的なネットワークを得るためにモデル剪定が取り入れられている。
– しかし、ほとんどの既存の剪定手法は経験的ヒューリスティックによって駆動されており、チャンネルの共同影響を考慮していないため、保証されていないおよびサブ最適な性能につながっている。
– 本論文では、Class-Aware Trace Ratio Optimization（CATRO）によるチャネルの剪定手法を提案し、計算負荷を軽減し、モデル推論を加速する。
– チャネルの剪定を部分可分関数最大化問題として形式化することにより、CATROは2段階の貪欲な反復最適化手順を介して効率的に解決する。
– 理論的にCATROの収束性とプルーニングされたネットワークの性能を正当化し、実験結果は、CATROが他の最先端のチャネル剪定アルゴリズムと比較して、同様の計算コストでより高い精度を達成するか、同じ精度でより低い計算コストを持つことを示している。
– さらに、クラス認識率を用いて、CATROは異なる分類サブタスクに適応的に、効率的なネットワークを剪定するため、実世界の応用での深層ネットワークの使用と展開を向上させるために適している。

要約(オリジナル)

Deep convolutional neural networks are shown to be overkill with high parametric and computational redundancy in many application scenarios, and an increasing number of works have explored model pruning to obtain lightweight and efficient networks. However, most existing pruning approaches are driven by empirical heuristic and rarely consider the joint impact of channels, leading to unguaranteed and suboptimal performance. In this paper, we propose a novel channel pruning method via Class-Aware Trace Ratio Optimization (CATRO) to reduce the computational burden and accelerate the model inference. Utilizing class information from a few samples, CATRO measures the joint impact of multiple channels by feature space discriminations and consolidates the layer-wise impact of preserved channels. By formulating channel pruning as a submodular set function maximization problem, CATRO solves it efficiently via a two-stage greedy iterative optimization procedure. More importantly, we present theoretical justifications on convergence of CATRO and performance of pruned networks. Experimental results demonstrate that CATRO achieves higher accuracy with similar computation cost or lower computation cost with similar accuracy than other state-of-the-art channel pruning algorithms. In addition, because of its class-aware property, CATRO is suitable to prune efficient networks adaptively for various classification subtasks, enhancing handy deployment and usage of deep networks in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI