SIFT: Sparse Iso-FLOP Transformations for Maximizing Training Efficiency

要約

最近の研究では、深層ニューラル ネットワーク (DNN) のトレーニング効率 (テスト精度 w.r.t トレーニング FLOP) を改善するために重みスパース性の使用が調査されました。
これらの作業はトレーニング FLOP を削減することを目的としていますが、スパース ウェイトを使用したトレーニングは、多くの場合、精度の低下につながるか、より長いトレーニング スケジュールを必要とするため、トレーニングの効率があまり明確ではありません。
対照的に、密度の高いモデルと同じ FLOPS を使用しながらスパース性を使用して精度を高めることに焦点を当て、より高い精度によるトレーニング効率の向上を示します。
この作業では、Sparse Iso-FLOP Transformations のファミリーである SIFT を紹介します。これは、高密度レイヤーのドロップイン置換として使用され、表現能力と FLOP 効率を向上させます。
各変換は、単一のパラメーター (スパース レベル) によってパラメーター化され、最適なスパース マスクを見つけるためのより大きな検索スペースを提供します。
トレーニング ハイパーパラメーターを一切変更せずに、高密度レイヤーを SIFT に置き換えると、ImageNet の ResNet-18 (+3.5%) や WikiText-103 の GPT-3 Small など、コンピューター ビジョン (CV) および自然言語処理 (NLP) タスク全体が大幅に改善されます。
(-0.4 PPL)、どちらも 2x 以上の FLOP を持つより大きな密度のモデル バリアントに一致します。
私たちの知る限り、これは、使いやすいスパース変換セットを介して高密度モデルの精度を向上させるためにスパース性の使用を実証した最初の作業です。
コードは https://github.com/CerebrasResearch/SIFT で入手できます。

要約(オリジナル)

Recent works have explored the use of weight sparsity to improve the training efficiency (test accuracy w.r.t training FLOPs) of deep neural networks (DNNs). These works aim to reduce training FLOPs but training with sparse weights often leads to accuracy loss or requires longer train schedules, making the resulting training efficiency less clear. In contrast, we focus on using sparsity to increase accuracy while using the same FLOPS as the dense model and show training efficiency gains through higher accuracy. In this work, we introduce SIFT, a family of Sparse Iso-FLOP Transformations which are used as drop-in replacements for dense layers to improve their representational capacity and FLOP efficiency. Each transformation is parameterized by a single parameter (sparsity level) and provides a larger search space to find optimal sparse masks. Without changing any training hyperparameters, replacing dense layers with SIFT leads to significant improvements across computer vision (CV) and natural language processing (NLP) tasks, including ResNet-18 on ImageNet (+3.5%) and GPT-3 Small on WikiText-103 (-0.4 PPL), both matching larger dense model variants with 2x or more FLOPs. To the best of our knowledge, this is the first work to demonstrate the use of sparsity for improving accuracy of dense models via a simple-to-use set of sparse transformations. Code is available at: https://github.com/CerebrasResearch/SIFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google