Protective Self-Adaptive Pruning to Better Compress DNNs

要約

適応型ネットワーク プルーニング アプローチは、レイヤーとフィルターの重要性と冗長性を識別し、適切なプルーニング ソリューションをカスタマイズする優れた機能により、最近大きな注目を集めています。
ただし、現在の適応プルーニング方法は、レイヤーとフィルターの重要性をスコアリングするために追加のモニターにほとんど依存しているため、非常に複雑で解釈可能性が低いため、満足のいくものではありません。
これらの問題に取り組むために、反復プルーントレインプロセスにおける重み再構築プロセスを深く研究し、保護的自己適応プルーニング (PSAP) メソッドを提案しました。
まず第一に、PSAP は独自の情報である重みスパース比を利用して、各枝刈りステップの前に層の枝刈り比を適応的に調整できます。
さらに、勾配を監視することによって重要なフィルターが剪定されるのを防ぎ、回復不能な情報損失も回避するための保護再構成メカニズムを提案します。
初期の作品のように追加のモニターを必要とするのではなく、モデル自体の重みと勾配に依存するだけなので、私たちの PSAP は便利で明示的です。
ImageNet と CIFAR-10 での実験では、精度と圧縮率の両方で現在の作業よりも優れていることも実証されています。

要約(オリジナル)

Adaptive network pruning approach has recently drawn significant attention due to its excellent capability to identify the importance and redundancy of layers and filters and customize a suitable pruning solution. However, it remains unsatisfactory since current adaptive pruning methods rely mostly on an additional monitor to score layer and filter importance, and thus faces high complexity and weak interpretability. To tackle these issues, we have deeply researched the weight reconstruction process in iterative prune-train process and propose a Protective Self-Adaptive Pruning (PSAP) method. First of all, PSAP can utilize its own information, weight sparsity ratio, to adaptively adjust pruning ratio of layers before each pruning step. Moreover, we propose a protective reconstruction mechanism to prevent important filters from being pruned through supervising gradients and to avoid unrecoverable information loss as well. Our PSAP is handy and explicit because it merely depends on weights and gradients of model itself, instead of requiring an additional monitor as in early works. Experiments on ImageNet and CIFAR-10 also demonstrate its superiority to current works in both accuracy and compression ratio, especially for compressing with a high ratio or pruning from scratch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google