Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning

要約

ネットワーク圧縮は、ディープネットワークをより効率的に、より高速に、そしてローエンドハードウェアにも汎用的に適用できるようにするために非常に重要です。1つは、最大圧縮率を推定する理論的な枠組みがないこと、もう1つは、一部の層が過剰に刈り込まれ、ネットワークの性能が大幅に低下する可能性があることである。本研究では、この2つの問題を解決するために、勾配行列特異点解析に基づく最大ネットワーク冗長度の推定方法を提案する。その最大率に導かれ、ネットワーク性能を犠牲にすることなく、ニューロンネットワーク構造を最大限に凝縮する、新規かつ効率的な階層的ネットワーク刈り込みアルゴリズムを開発する。本手法の有効性を実証するため、いくつかの先進的な畳み込みニューラルネットワーク（CNN）アーキテクチャの刈り込みを行うための実質的な実験が実施された。既存の刈り込み手法と比較し、提案する刈り込みアルゴリズムは最先端の性能を達成した。また、圧縮率が同じか同程度の場合、新手法は他の手法と比較して、最も高いネットワーク予測精度を提供した。

要約(オリジナル)

Network compression is crucial to making the deep networks to be more efficient, faster, and generalizable to low-end hardware. Current network compression methods have two open problems: first, there lacks a theoretical framework to estimate the maximum compression rate; second, some layers may get over-prunned, resulting in significant network performance drop. To solve these two problems, this study propose a gradient-matrix singularity analysis-based method to estimate the maximum network redundancy. Guided by that maximum rate, a novel and efficient hierarchical network pruning algorithm is developed to maximally condense the neuronal network structure without sacrificing network performance. Substantial experiments are performed to demonstrate the efficacy of the new method for pruning several advanced convolutional neural network (CNN) architectures. Compared to existing pruning methods, the proposed pruning algorithm achieved state-of-the-art performance. At the same or similar compression ratio, the new method provided the highest network prediction accuracy as compared to other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL