Towards Meta-Pruning via Optimal Transport

要約

従来、ニューラル ネットワークの構造枝刈りは、重要度の低いニューロンを特定して破棄することに依存しており、これにより精度が大幅に低下することが多く、その後の微調整作業が必要になります。
この論文では、この一般的な枝刈りパラダイムに挑戦する、Intra-Fusion と呼ばれる新しいアプローチを紹介します。
意味のあるニューロン重要度メトリクスの設計に焦点を当てた既存の方法とは異なり、Intra-Fusion は、その上にある枝刈り手順を再定義します。
モデル融合と最適トランスポートの概念を活用することで、不可知論的に与えられた重要度メトリックを活用して、より効果的なスパース モデル表現に到達します。
特に、私たちのアプローチは、リソースを大量に消費する微調整を必要とせずに大幅な精度の回復を達成し、ニューラル ネットワーク圧縮の効率的で有望なツールとなっています。
さらに、競争力のあるパフォーマンスを維持しながらトレーニング時間を大幅に短縮するために、プルーニング プロセスにフュージョンを追加する方法を検討します。
CIFAR-10、CIFAR-100、ImageNet などの一般的に使用されるデータセットで、さまざまなネットワークの結果をベンチマークします。
もっと広く言えば、提案されている Intra-Fusion アプローチによって、主流の圧縮アプローチに代わる新しい方法の探求が活性化されることを期待しています。
私たちのコードは、https://github.com/alexandertheus/Intra-Fusion から入手できます。

要約(オリジナル)

Structural pruning of neural networks conventionally relies on identifying and discarding less important neurons, a practice often resulting in significant accuracy loss that necessitates subsequent fine-tuning efforts. This paper introduces a novel approach named Intra-Fusion, challenging this prevailing pruning paradigm. Unlike existing methods that focus on designing meaningful neuron importance metrics, Intra-Fusion redefines the overlying pruning procedure. Through utilizing the concepts of model fusion and Optimal Transport, we leverage an agnostically given importance metric to arrive at a more effective sparse model representation. Notably, our approach achieves substantial accuracy recovery without the need for resource-intensive fine-tuning, making it an efficient and promising tool for neural network compression. Additionally, we explore how fusion can be added to the pruning process to significantly decrease the training time while maintaining competitive performance. We benchmark our results for various networks on commonly used datasets such as CIFAR-10, CIFAR-100, and ImageNet. More broadly, we hope that the proposed Intra-Fusion approach invigorates exploration into a fresh alternative to the predominant compression approaches. Our code is available here: https://github.com/alexandertheus/Intra-Fusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google