A New Perspective on Shampoo’s Preconditioner

要約

Shampoo は、クロネッカー積プレコンディショナーを使用する 2 次最適化アルゴリズムであり、最近、機械学習コミュニティからの注目を集めています。
Shampoo によって使用されるプリコンディショナーは、ヘッセ行列のガウス – ニュートン成分の近似、または Adagrad によって維持される勾配の共分散行列として見ることができます。
これらの行列の $\textit{optimal}$ クロネッカー積近似と Shampoo によって作成された近似の間の明示的かつ新規な関係を提供します。
私たちの関係は、シャンプーの近似に関する微妙だが一般的な誤解を浮き彫りにします。
特に、シャンプー オプティマイザーによって使用される近似の $\textit{square}$ は、前述の最適なクロネッカー積近似を計算するためのべき乗反復アルゴリズムの 1 ステップに相当します。
さまざまなデータセットとアーキテクチャにわたって、これが最適なクロネッカー積近似に近いことを経験的に示しています。
さらに、ヘシアン近似の観点から、Shampoo の計算効率を高めるためのさまざまな実践的なトリック (バッチ勾配や経験的フィッシャーの使用など) がヘシアン近似の品質に与える影響を実証的に研究しています。

要約(オリジナル)

Shampoo, a second-order optimization algorithm which uses a Kronecker product preconditioner, has recently garnered increasing attention from the machine learning community. The preconditioner used by Shampoo can be viewed either as an approximation of the Gauss–Newton component of the Hessian or the covariance matrix of the gradients maintained by Adagrad. We provide an explicit and novel connection between the $\textit{optimal}$ Kronecker product approximation of these matrices and the approximation made by Shampoo. Our connection highlights a subtle but common misconception about Shampoo’s approximation. In particular, the $\textit{square}$ of the approximation used by the Shampoo optimizer is equivalent to a single step of the power iteration algorithm for computing the aforementioned optimal Kronecker product approximation. Across a variety of datasets and architectures we empirically demonstrate that this is close to the optimal Kronecker product approximation. Additionally, for the Hessian approximation viewpoint, we empirically study the impact of various practical tricks to make Shampoo more computationally efficient (such as using the batch gradient and the empirical Fisher) on the quality of Hessian approximation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google