Brand New K-FACs: Speeding up K-FAC with Online Decomposition Updates

要約

K-FAC (arXiv:1503.05671、arXiv:1602.01407) は、深層学習 (DL) 用の自然勾配 (NG) の扱いやすい実装です。そのボトルネックは、いわゆる「クロネッカー因子」 (K-
要因）。
RS-KFAC (arXiv:2206.15397) は、K ファクター逆関数を推定する安価な方法を提供する K-FAC の改良版です。
この論文では、K 因子の指数平均構築パラダイムを活用し、オンライン数値線形代数手法を使用して、K 因子逆関数を推定するさらに安価な (ただし精度は低い) 方法を提案します。
特に、層サイズを線形にスケールする K 因子逆更新を提案します。
また、同様に線形にスケーリングする逆適用手順も提案します (K-FAC の 1 つは 3 次的にスケーリングし、RS-KFAC の 1 つは 2 次的にスケーリングします)。
全体として、私たちが提案するアルゴリズムは、事前調整部分が層サイズで線形にスケールする近似的な K-FAC 実装を提供します (K-FAC の 3 次と RS-KFAC の 2 次と比較してください)。
ただし重要なのは、RS-KFAC アプローチ (arXiv:2206.15397) とは異なり、この更新は一部の状況 (通常はすべての FC 層) でのみ適用されることです。
数値結果は、提案したアップデートを RS-KFAC に追加することで、最小限の CPU オーバーヘッドで RS-KFAC の反転エラーを削減できることを示しています。
提案された手順、その修正、および RS-KFAC に基づいて、汎用ディープ ニューラル ネットを最適化するための 3 つの実用的なアルゴリズムを提案します。
数値結果は、これらのうち 2 つは、VGG16_bn をわずかに修正したバージョンを使用した CIFAR10 分類のターゲット テスト精度において、RS-KFAC よりも優れていることを示しています。
私たちが提案するアルゴリズムは、SENG (DL に対する経験的 NG の最先端の実装; arXiv:2006.05924) よりも速く 91$\%$ のテスト精度を達成しますが、より高いテスト精度についてはそれを下回ります。

要約(オリジナル)

K-FAC (arXiv:1503.05671, arXiv:1602.01407) is a tractable implementation of Natural Gradient (NG) for Deep Learning (DL), whose bottleneck is computing the inverses of the so-called “Kronecker-Factors” (K-factors). RS-KFAC (arXiv:2206.15397) is a K-FAC improvement which provides a cheap way of estimating the K-factors inverses. In this paper, we exploit the exponential-average construction paradigm of the K-factors, and use online numerical linear algebra techniques to propose an even cheaper (but less accurate) way of estimating the K-factors inverses. In particular, we propose a K-factor inverse update which scales linearly in layer size. We also propose an inverse application procedure which scales linearly as well (the one of K-FAC scales cubically and the one of RS-KFAC scales quadratically). Overall, our proposed algorithm gives an approximate K-FAC implementation whose preconditioning part scales linearly in layer size (compare to cubic for K-FAC and quadratic for RS-KFAC). Importantly however, this update is only applicable in some circumstances (typically for all FC layers), unlike the RS-KFAC approach (arXiv:2206.15397). Numerical results show RS-KFAC’s inversion error can be reduced with minimal CPU overhead by adding our proposed update to it. Based on the proposed procedure, a correction to it, and RS-KFAC, we propose three practical algorithms for optimizing generic Deep Neural Nets. Numerical results show that two of these outperform RS-KFAC for any target test accuracy on CIFAR10 classification with a slightly modified version of VGG16_bn. Our proposed algorithms achieve 91$\%$ test accuracy faster than SENG (the state of art implementation of empirical NG for DL; arXiv:2006.05924) but underperform it for higher test-accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google