Spatial Re-parameterization for N:M Sparsity

要約

この論文では、CNN の N:M スパース性に対する空間再パラメータ化 (SpRe) 手法を紹介します。
SpRe は、非構造化スパーシティと比較して、N:M スパーシティに存在する空間スパーシティの制限された多様性に関する観察に由来しています。
特に、N:M スパース性は、畳み込みフィルターの入力チャネル次元における M 個の連続する重みの間で N 個の非ゼロ成分を義務付ける独特のパターンにより、空間領域内で固定のスパース率を示します。
反対に、非構造化スパース性では、空間ドメイン全体でスパース性に大幅な相違が見られることが観察されており、これが N:M スパース性と比較して堅牢なパフォーマンス保持にとって非常に重要であることが実験的に検証されました。
したがって、SpRe は、非構造化スパース性の空間スパース性分布を使用して、トレーニング時に元の N:M ブランチと組み合わせて追加のブランチを割り当てます。これにより、N:M スパース ネットワークは、非構造化スパース性と同様の空間スパース性の分布を維持できます。
推論中に、スパース パターンに歪みや追加の計算コストを与えることなく、追加のブランチをメインの N:M ブランチにさらに再パラメータ化できます。
SpRe は、さまざまなベンチマークにわたって、N:M スパース手法のパフォーマンスを最先端の非構造化スパーシティ手法と一致させることで、称賛に値する偉業を達成しました。
コードとモデルは \url{https://github.com/zyxxmu/SpRe} で匿名で入手できます。

要約(オリジナル)

This paper presents a Spatial Re-parameterization (SpRe) method for the N:M sparsity in CNNs. SpRe is stemmed from an observation regarding the restricted variety in spatial sparsity present in N:M sparsity compared with unstructured sparsity. Particularly, N:M sparsity exhibits a fixed sparsity rate within the spatial domains due to its distinctive pattern that mandates N non-zero components among M successive weights in the input channel dimension of convolution filters. On the contrary, we observe that unstructured sparsity displays a substantial divergence in sparsity across the spatial domains, which we experimentally verified to be very crucial for its robust performance retention compared with N:M sparsity. Therefore, SpRe employs the spatial-sparsity distribution of unstructured sparsity to assign an extra branch in conjunction with the original N:M branch at training time, which allows the N:M sparse network to sustain a similar distribution of spatial sparsity with unstructured sparsity. During inference, the extra branch can be further re-parameterized into the main N:M branch, without exerting any distortion on the sparse pattern or additional computation costs. SpRe has achieved a commendable feat by matching the performance of N:M sparsity methods with state-of-the-art unstructured sparsity methods across various benchmarks. Code and models are anonymously available at \url{https://github.com/zyxxmu/SpRe}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google