Neural Network Panning: Screening the Optimal Sparse Network Before Training

要約

トレーニング前にニューラル ネットワークでプルーニングを行うと、元のモデルが圧縮されるだけでなく、ネットワーク トレーニング フェーズが加速され、アプリケーションの価値が大幅に高まります。
現在の作業は、メトリックを使用してウェイト スクリーニングのウェイト スコアを計算するきめの細かいプルーニングに焦点を当てており、初期の単一オーダーのプルーニングから反復的なプルーニングにまで及びます。
これらの作業を通じて、ネットワークの刈り込みは、元のネットワークのパフォーマンスを維持するために、予約された重みが削除されたものから表現力を引き継ぐ、重みの表現力の伝達プロセスとして要約できると主張します。
最適な表現力スケジューリングを実現するために、ニューラル ネットワーク パニングと呼ばれるトレーニング前のプルーニング スキームを提案します。これは、マルチインデックスおよびマルチプロセス ステップを通じて表現力の伝達をガイドし、プロセスを自動化するための強化学習に基づく一種のパニング エージェントを設計します。
実験結果は、パニングが、トレーニング方法の前に利用可能なさまざまなプルーニングよりも優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Pruning on neural networks before training not only compresses the original models, but also accelerates the network training phase, which has substantial application value. The current work focuses on fine-grained pruning, which uses metrics to calculate weight scores for weight screening, and extends from the initial single-order pruning to iterative pruning. Through these works, we argue that network pruning can be summarized as an expressive force transfer process of weights, where the reserved weights will take on the expressive force from the removed ones for the purpose of maintaining the performance of original networks. In order to achieve optimal expressive force scheduling, we propose a pruning scheme before training called Neural Network Panning which guides expressive force transfer through multi-index and multi-process steps, and designs a kind of panning agent based on reinforcement learning to automate processes. Experimental results show that Panning performs better than various available pruning before training methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google