Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training

要約

グリーン AI のテーマは、ニューラル ネットワーク モデルがますます大規模かつ複雑になる最近の傾向を考慮して、ディープ ラーニング コミュニティ内で注目を集めています。
推論時のトレーニングの計算負荷を軽減するための既存のソリューションには、通常、ネットワーク パラメーターのプルーニングが含まれます。
枝刈りスキームでは、静的枝刈りの反復トレーニングと微調整、または動的枝刈りグラフの繰り返し計算により、余分なオーバーヘッドが発生することがよくあります。
与えられた下流タスクで完全にパラメータ化されたネットワークと同等のパフォーマンスを維持しながら、エネルギーコストを最小限に抑える軽量のサブネットワークを学習するための新しいパラメータ枝刈り戦略を提案します。
私たちが提案する枝刈りスキームは、動的枝刈り手法によって最適な静的サブネットワークを発見するために 1 回限りのトレーニングのみを必要とするため、環境に優しいものです。
プルーニング スキームは、バイナリ ゲーティング モジュールと、ユーザー定義のスパース性を持つサブネットワークを明らかにするための新しい損失関数で構成されます。
私たちの方法では枝刈りとトレーニングを同時に行うことができるため、トレーニングと推論の両方のフェーズでエネルギーが節約され、推論時のゲートモジュールによる余分な計算オーバーヘッドが回避されます。
CIFAR-10 および CIFAR-100 に関する結果は、このスキームが分類精度の低下が 1% 未満で、深いネットワークの接続の 50% を削除できることを示唆しています。
他の関連する枝刈り手法と比較して、私たちの手法は、同等の計算コストの削減に対して精度の低下が少ないことを示しています。

要約(オリジナル)

The subject of green AI has been gaining attention within the deep learning community given the recent trend of ever larger and more complex neural network models. Existing solutions for reducing the computational load of training at inference time usually involve pruning the network parameters. Pruning schemes often create extra overhead either by iterative training and fine-tuning for static pruning or repeated computation of a dynamic pruning graph. We propose a new parameter pruning strategy for learning a lighter-weight sub-network that minimizes the energy cost while maintaining comparable performance to the fully parameterised network on given downstream tasks. Our proposed pruning scheme is green-oriented, as it only requires a one-off training to discover the optimal static sub-networks by dynamic pruning methods. The pruning scheme consists of a binary gating module and a novel loss function to uncover sub-networks with user-defined sparsity. Our method enables pruning and training simultaneously, which saves energy in both the training and inference phases and avoids extra computational overhead from gating modules at inference time. Our results on CIFAR-10 and CIFAR-100 suggest that our scheme can remove 50% of connections in deep networks with less than 1% reduction in classification accuracy. Compared to other related pruning methods, our method demonstrates a lower drop in accuracy for equivalent reductions in computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google