Learning Best Combination for Efficient N:M Sparsity

要約

M 個の連続する重みのうち最大で N 個を非ゼロにすることにより、最近の N:M ネットワークのスパース性は、次の 2 つの魅力的な利点によりますます注目を集めています。1) 高いスパース性での有望なパフォーマンス。
2) NVIDIA A100 GPU での大幅な高速化。
最近の研究では、費用のかかる事前トレーニング フェーズまたは重い密な勾配計算が必要です。
この論文では、N:M 学習が、有限集合内で最適な組み合わせ候補を検索する組み合わせ問題として自然に特徴付けられることを示します。
この特性に動機付けられて、効率的な分割統治法で N:M スパース性を解決します。
まず、重みベクトルを固定サイズ N の $C_{\text{M}}^{\text{N}}$ 組み合わせサブセットに分割します。次に、各組み合わせに次の学習可能なスコアを割り当てることにより、組み合わせ問題を克服します。
関連する重みと一緒に最適化されます。
導入されたスコアリングメカニズムが、組み合わせサブセット間の相対的な重要性を適切にモデル化できることを証明します。
また、スコアの低いサブセットを徐々に削除することで、N:M のきめの細かいスパース性を通常のトレーニング フェーズで効率的に最適化できます。
包括的な実験により、当社の学習ベスト コンビネーション (LBC) が、さまざまなネットワークで市販の N:M スパース メソッドよりも一貫して優れたパフォーマンスを発揮することが実証されています。
私たちのプロジェクトは \url{https://github.com/zyxxmu/LBC} でリリースされています。

要約(オリジナル)

By forcing at most N out of M consecutive weights to be non-zero, the recent N:M network sparsity has received increasing attention for its two attractive advantages: 1) Promising performance at a high sparsity. 2) Significant speedups on NVIDIA A100 GPUs. Recent studies require an expensive pre-training phase or a heavy dense-gradient computation. In this paper, we show that the N:M learning can be naturally characterized as a combinatorial problem which searches for the best combination candidate within a finite collection. Motivated by this characteristic, we solve N:M sparsity in an efficient divide-and-conquer manner. First, we divide the weight vector into $C_{\text{M}}^{\text{N}}$ combination subsets of a fixed size N. Then, we conquer the combinatorial problem by assigning each combination a learnable score that is jointly optimized with its associate weights. We prove that the introduced scoring mechanism can well model the relative importance between combination subsets. And by gradually removing low-scored subsets, N:M fine-grained sparsity can be efficiently optimized during the normal training phase. Comprehensive experiments demonstrate that our learning best combination (LBC) performs consistently better than off-the-shelf N:M sparsity methods across various networks. Our project is released at \url{https://github.com/zyxxmu/LBC}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google