A Computationally Efficient Sparsified Online Newton Method

要約

二次手法は、ディープ ニューラル ネットワーク トレーニングの収束を強化する上で大きな可能性を秘めています。
ただし、大量のメモリと計算要求があるため、実用性は限られています。
したがって、大規模なモデルを効率的にトレーニングできるスケーラブルな 2 次メソッドが必要です。
このペーパーでは、スパース化されているが効果的な前処理を生成する、メモリ効率の高い 2 次アルゴリズムであるスパース化オンライン ニュートン (SONew) メソッドを紹介します。
このアルゴリズムは、LogDet 行列発散測定の新しい使用法から生まれました。
これをスパース制約と組み合わせて、オンライン凸最適化フレームワークでの後悔を最小限に抑えます。
経験的に、最大 1B パラメーターの大規模なベンチマークでメソッドをテストします。
一次法を含むメモリ効率の高いオプティマイザーと比較して、最大 30% の高速な収束、検証パフォーマンスの相対的な 3.4% 向上、トレーニング損失の相対的な 80% の向上を達成します。
このメソッドを強化することは驚くべき事実です。三重対角構造や帯状構造などの構造化されたスパース パターンを課す場合、オーバーヘッドがほとんどまたはまったく必要ないため、一次メソッドと同じくらい効率的かつ並列化可能になります。
実時間では、三重対角 SONew は 1 次法よりもステップごとに約 3% 遅いだけですが、収束がはるかに速いため、全体的な利益が得られます。
対照的に、最先端 (SOTA) のメモリ集約型の 2 次メソッドの 1 つである Shampoo は、大規模なベンチマークに拡張できません。
さらに、Shampoo では大規模なベンチマークに拡張するには多大なエンジニアリング作業が必要ですが、SONew はより簡単な実装を提供し、実用的な魅力を高めます。
SONew コードは https://github.com/devvrit/SONew で入手できます。

要約(オリジナル)

Second-order methods hold significant promise for enhancing the convergence of deep neural network training; however, their large memory and computational demands have limited their practicality. Thus there is a need for scalable second-order methods that can efficiently train large models. In this paper, we introduce the Sparsified Online Newton (SONew) method, a memory-efficient second-order algorithm that yields a sparsified yet effective preconditioner. The algorithm emerges from a novel use of the LogDet matrix divergence measure; we combine it with sparsity constraints to minimize regret in the online convex optimization framework. Empirically, we test our method on large scale benchmarks of up to 1B parameters. We achieve up to 30% faster convergence, 3.4% relative improvement in validation performance, and 80% relative improvement in training loss, in comparison to memory efficient optimizers including first order methods. Powering the method is a surprising fact — imposing structured sparsity patterns, like tridiagonal and banded structure, requires little to no overhead, making it as efficient and parallelizable as first-order methods. In wall-clock time, tridiagonal SONew is only about 3% slower per step than first-order methods but gives overall gains due to much faster convergence. In contrast, one of the state-of-the-art (SOTA) memory-intensive second-order methods, Shampoo, is unable to scale to large benchmarks. Additionally, while Shampoo necessitates significant engineering efforts to scale to large benchmarks, SONew offers a more straightforward implementation, increasing its practical appeal. SONew code is available at: https://github.com/devvrit/SONew

arxiv情報

提供元, 利用サービス

arxiv.jp, Google