Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning

要約

運動量を使用したリーマン部分多様体最適化は、反復が部分多様体上に残ることを保証するために、難しい微分方程式を解く必要があることが多いため、計算的に困難です。
ここでは、アフィン不変計量を使用して、スパースまたは構造化された対称正定値行列のクラスに対するこのような困難を単純化します。
これは、計量​​を動的に直交正規化し、問題をユークリッド空間の制約のない問題に局所的に変換するリーマン法線座標の一般化バージョンを提案することで実現します。
私たちのアプローチを使用して、構造化共分散に対する既存のアプローチを簡素化し、行列の乗算のみを使用して低精度の深層学習用の逆行列フリーの $2^\text{nd}$-order オプティマイザーを開発します。
コード: https://github.com/yorkerlin/StructuredNGD-DL

要約(オリジナル)

Riemannian submanifold optimization with momentum is computationally challenging because, to ensure that the iterates remain on the submanifold, we often need to solve difficult differential equations. Here, we simplify such difficulties for a class of sparse or structured symmetric positive-definite matrices with the affine-invariant metric. We do so by proposing a generalized version of the Riemannian normal coordinates that dynamically orthonormalizes the metric and locally converts the problem into an unconstrained problem in the Euclidean space. We use our approach to simplify existing approaches for structured covariances and develop matrix-inverse-free $2^\text{nd}$-order optimizers for deep learning with low precision by using only matrix multiplications. Code: https://github.com/yorkerlin/StructuredNGD-DL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google