Boosting Pruned Networks with Linear Over-parameterization

要約

構造化プルーニングは、チャネル (フィルター) を削減することでニューラル ネットワークを圧縮し、実行時の推論を高速化し、フットプリントを小さくします。
プルーニング後に精度を復元するために、通常はプルーニングされたネットワークに微調整が適用されます。
ただし、プルーニングされたネットワークに残っているパラメーターが少なすぎると、必然的に精度を回復するための微調整に大きな課題が生じます。
この課題に対処するために、最初にプルーニングされたネットワーク内のコンパクトな層を線形にオーバーパラメータ化して微調整パラメータの数を増やし、次に微調整後に元の層に再パラメータ化する新しい方法を提案します。
具体的には、現在の出力特徴マップを変更しないいくつかの連続した畳み込み/線形層で畳み込み/線形層を等価的に拡張します。
さらに、過剰パラメータ化されたブロックが対応する高密度層の直接のデータ間の類似性を学習して、その特徴学習能力を維持することを促進する類似性保存知識蒸留を利用します。
提案された方法は、CIFAR-10 と ImageNet で包括的に評価され、特に大きな枝刈り率に関してバニラの微調整戦略よりも大幅に優れています。

要約(オリジナル)

Structured pruning compresses neural networks by reducing channels (filters) for fast inference and low footprint at run-time. To restore accuracy after pruning, fine-tuning is usually applied to pruned networks. However, too few remaining parameters in pruned networks inevitably bring a great challenge to fine-tuning to restore accuracy. To address this challenge, we propose a novel method that first linearly over-parameterizes the compact layers in pruned networks to enlarge the number of fine-tuning parameters and then re-parameterizes them to the original layers after fine-tuning. Specifically, we equivalently expand the convolution/linear layer with several consecutive convolution/linear layers that do not alter the current output feature maps. Furthermore, we utilize similarity-preserving knowledge distillation that encourages the over-parameterized block to learn the immediate data-to-data similarities of the corresponding dense layer to maintain its feature learning ability. The proposed method is comprehensively evaluated on CIFAR-10 and ImageNet which significantly outperforms the vanilla fine-tuning strategy, especially for large pruning ratio.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google