Trainability Preserving Neural Pruning

要約

多くの研究により、訓練性がニューラルネットワークの刈り込みにおいて中心的な役割を果たすことが示されている。訓練性が壊れたまま放置されると、深刻な性能不足に陥り、意図せず再学習学習率の効果が増幅されて、偏った（あるいは誤解された）ベンチマーク結果が得られる。本論文では、プルーニングに対してネットワークの学習性を保持するスケーラブルな手法である学習性保持プルーニング（TPP）を紹介し、プルーニング性能の向上と再学習ハイパーパラメータ（学習率など）に対してより頑健であることを目指しています。具体的には、畳み込みフィルタのグラム行列にペナルティを与え、刈り込まれたフィルタと保持されたフィルタを非相関化することを提案する。また、ネットワーク全体の学習性を維持するために、畳み込み層に加えて、バッチ正規化パラメータ（スケールとバイアス）を正規化することを提案します。線形MLPネットワークの実証実験では、TPPはオラクル学習能力回復スキームと同等の性能を発揮することが示されました。CIFAR10/100の非線形ConvNets（ResNet56/VGG19）では、TPPは他の対応するアプローチを明らかな差で上回ります。さらに、ResNetsを用いたImageNet-1Kでの結果は、TPPが他のトップクラスの性能を持つ構造化刈り込みアプローチに対して一貫して有利に動作することを示唆しています。コード: https://github.com/MingSun-Tse/TPP.

要約(オリジナル)

Many recent works have shown trainability plays a central role in neural network pruning — unattended broken trainability can lead to severe under-performance and unintentionally amplify the effect of retraining learning rate, resulting in biased (or even misinterpreted) benchmark results. This paper introduces trainability preserving pruning (TPP), a scalable method to preserve network trainability against pruning, aiming for improved pruning performance and being more robust to retraining hyper-parameters (e.g., learning rate). Specifically, we propose to penalize the gram matrix of convolutional filters to decorrelate the pruned filters from the retained filters. In addition to the convolutional layers, per the spirit of preserving the trainability of the whole network, we also propose to regularize the batch normalization parameters (scale and bias). Empirical studies on linear MLP networks show that TPP can perform on par with the oracle trainability recovery scheme. On nonlinear ConvNets (ResNet56/VGG19) on CIFAR10/100, TPP outperforms the other counterpart approaches by an obvious margin. Moreover, results on ImageNet-1K with ResNets suggest that TPP consistently performs more favorably against other top-performing structured pruning approaches. Code: https://github.com/MingSun-Tse/TPP.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL