FGGP: Fixed-Rate Gradient-First Gradual Pruning

要約

近年、深層学習モデルのサイズが増大し、計算リソースに対する需要が増大しているため、精度を維持しながらニューラル ネットワークを枝刈りする実践に大きな注目が集まっています。
目標とするネットワークの希薄さに達するまで個々のネットワーク パラメーターを徐々に削除してネットワークを希薄化する非構造化段階的枝刈りでは、勾配と重みの大きさの両方を考慮する必要があることが最近の研究で示されています。
この研究では、そのようなメカニズム、たとえば優先順位付けの順序や選択基準が不可欠であることを示します。
我々は、枝刈りするパラメータを選択するための勾配優先マグニチュード次戦略を導入し、文献のアニーリング手法とは対照的に、これらのステップ間の固定レートの部分選択基準がより適切に機能することを示します。
これを、VGG-19 と ResNet-50 の両方のネットワーク バックボーンで複数のランダム化初期化を行い、90、95、98% のスパース性のターゲットをプルーニングし、初期密ネットワークと 50% スパース ネットワークの両方について、CIFAR-10 データセットでこれを検証します。
私たちが提案する固定レート勾配優先段階的枝刈り (FGGP) アプローチは、上記の実験設定のほとんどで最先端の代替案を上回っており、場合によっては対応する高密度ネットワークの結果の上限を超え、世界全体で最高のランキングを獲得しています。
実験的な設定を考慮しました。

要約(オリジナル)

In recent years, the increasing size of deep learning models and their growing demand for computational resources have drawn significant attention to the practice of pruning neural networks, while aiming to preserve their accuracy. In unstructured gradual pruning, which sparsifies a network by gradually removing individual network parameters until a targeted network sparsity is reached, recent works show that both gradient and weight magnitudes should be considered. In this work, we show that such mechanism, e.g., the order of prioritization and selection criteria, is essential. We introduce a gradient-first magnitude-next strategy for choosing the parameters to prune, and show that a fixed-rate subselection criterion between these steps works better, in contrast to the annealing approach in the literature. We validate this on CIFAR-10 dataset, with multiple randomized initializations on both VGG-19 and ResNet-50 network backbones, for pruning targets of 90, 95, and 98% sparsity and for both initially dense and 50% sparse networks. Our proposed fixed-rate gradient-first gradual pruning (FGGP) approach outperforms its state-of-the-art alternatives in most of the above experimental settings, even occasionally surpassing the upperbound of corresponding dense network results, and having the highest ranking across the considered experimental settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google