Fast and Controllable Post-training Sparsity: Learning Optimal Sparsity Allocation with Global Constraint in Minutes

要約

ニューラル ネットワークのスパーシティは、生物学的スキームとの類似性と高いエネルギー効率により、多くの研究の関心を集めています。
ただし、既存の手法は長時間のトレーニングや微調整に依存しているため、大規模なアプリケーションは実現できません。
最近、トレーニング後スパース性 (PTS) に焦点を当てた作品がいくつか登場しています。
高いトレーニングコストは削減されますが、各層での適切なスパース率が無視されるため、通常は明らかな精度の低下に悩まされます。
スパース率を見つけるためのこれまでの方法は、主にトレーニングを意識したシナリオに焦点を当てていましたが、通常、データが限られており、トレーニング コストがはるかに低い PTS 設定では安定して収束することができません。
この論文では、高速で制御可能なポストトレーニング スパース性 (FCPTS) フレームワークを提案します。
微分可能なブリッジ関数と制御可能な最適化目標を組み込むことにより、私たちの方法は数分で迅速かつ正確なスパース性割り当て学習を可能にし、所定のグローバル スパース率への収束をさらに保証します。
これらの技術を装備すると、最先端の手法を大幅に上回ることができます。たとえば、スパース率 80% で ImageNet 上の ResNet-50 が 30% 以上改善されます。
当社のプラグアンドプレイ コードと補足資料は、https://github.com/ModelTC/FCPTS でオープンソース化されています。

要約(オリジナル)

Neural network sparsity has attracted many research interests due to its similarity to biological schemes and high energy efficiency. However, existing methods depend on long-time training or fine-tuning, which prevents large-scale applications. Recently, some works focusing on post-training sparsity (PTS) have emerged. They get rid of the high training cost but usually suffer from distinct accuracy degradation due to neglect of the reasonable sparsity rate at each layer. Previous methods for finding sparsity rates mainly focus on the training-aware scenario, which usually fails to converge stably under the PTS setting with limited data and much less training cost. In this paper, we propose a fast and controllable post-training sparsity (FCPTS) framework. By incorporating a differentiable bridge function and a controllable optimization objective, our method allows for rapid and accurate sparsity allocation learning in minutes, with the added assurance of convergence to a predetermined global sparsity rate. Equipped with these techniques, we can surpass the state-of-the-art methods by a large margin, e.g., over 30\% improvement for ResNet-50 on ImageNet under the sparsity rate of 80\%. Our plug-and-play code and supplementary materials are open-sourced at https://github.com/ModelTC/FCPTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google