Dynamic Sparse Training with Structured Sparsity

要約

ダイナミック スパース トレーニング (DST) 手法は、スパース ニューラル ネットワーク トレーニングで最先端の結果を達成し、スパース トレーニングと推論を可能にしながら、高密度モデルの一般化と一致します。
結果として得られるモデルは非常にスパースであり、理論的にはトレーニングコストが安くなりますが、現実のハードウェア上で非構造化スパース性による高速化を達成することは困難です。
この研究では、一定のファンイン制約を課すことによって構造化された N:M スパース性のバリアントを学習する、スパース対スパース DST 手法を提案します。
私たちは、理論的分析と経験的結果の両方を使用して実証します。さまざまなネットワーク アーキテクチャ上での最先端のスペアからスパースへの構造化 DST パフォーマンス、パラメータとメモリ フットプリントが削減された圧縮表現、および比較した推論時間の短縮です。
凝縮された表現の単純な PyTorch CPU 実装を備えた密なモデル。
私たちのソースコードは https://github.com/calgaryml/condensed-sparsity で入手できます。

要約(オリジナル)

Dynamic Sparse Training (DST) methods achieve state-of-the-art results in sparse neural network training, matching the generalization of dense models while enabling sparse training and inference. Although the resulting models are highly sparse and theoretically cheaper to train, achieving speedups with unstructured sparsity on real-world hardware is challenging. In this work, we propose a sparse-to-sparse DST method to learn a variant of structured N:M sparsity by imposing a constant fan-in constraint. We demonstrate with both a theoretical analysis and empirical results: state-of-the-art spare-to-sparse structured DST performance on a variety of network architectures, a condensed representation with a reduced parameter and memory footprint, and reduced inference time compared to dense models with a naive PyTorch CPU implementation of the condensed representation. Our source code is available at https://github.com/calgaryml/condensed-sparsity

arxiv情報

提供元, 利用サービス

arxiv.jp, Google