Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy

要約

ニューラル ネットワークのパフォーマンスは、ここ数年で大幅に改善されましたが、1 秒あたりの浮動小数点演算 (FLOP) の数が増えています。
ただし、計算リソースが限られている場合は、より多くの FLOP が問題になる可能性があります。
この問題を解決する試みとして、プルーニング フィルターが一般的な解決策ですが、ほとんどの既存のプルーニング方法はモデルの精度を効率的に維持しないため、多数の微調整エポックが必要です。
この論文では、FLOPを事前定義されたターゲットに減らしながら、モデルの精度を維持するためにどのニューロンを保存するかを学習する自動枝刈り法を提案します。
このタスクを達成するために、データセットの 25.6% (CIFAR-10) または 7.49% (ILSVRC2012) で 1 つのエポックのみを必要とするトレーニング可能なボトルネックを導入して、プルーニングするフィルターを学習します。
さまざまなアーキテクチャとデータセットでの実験は、提案された方法が剪定後に精度を維持できるだけでなく、微調整後に既存の方法よりも優れていることを示しています。
ResNet-50 で 52.00% の FLOP 削減を達成し、刈り込み後のトップ 1 精度は 47.51%、ILSVRC2012 での微調整後の最先端 (SOTA) 精度は 76.63% です。
コードは https://github.com/nota-github/autobot_AAAI23 で入手できます。

要約(オリジナル)

Neural networks performance has been significantly improved in the last few years, at the cost of an increasing number of floating point operations per second (FLOPs). However, more FLOPs can be an issue when computational resources are limited. As an attempt to solve this problem, pruning filters is a common solution, but most existing pruning methods do not preserve the model accuracy efficiently and therefore require a large number of finetuning epochs. In this paper, we propose an automatic pruning method that learns which neurons to preserve in order to maintain the model accuracy while reducing the FLOPs to a predefined target. To accomplish this task, we introduce a trainable bottleneck that only requires one single epoch with 25.6% (CIFAR-10) or 7.49% (ILSVRC2012) of the dataset to learn which filters to prune. Experiments on various architectures and datasets show that the proposed method can not only preserve the accuracy after pruning but also outperform existing methods after finetuning. We achieve a 52.00% FLOPs reduction on ResNet-50, with a Top-1 accuracy of 47.51% after pruning and a state-of-the-art (SOTA) accuracy of 76.63% after finetuning on ILSVRC2012. Code available at https://github.com/nota-github/autobot_AAAI23.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google