Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning

要約

タイトル：Deep Learningに応用可能なMomentum-based Positive-definite Submanifold Optimizationの簡素化
要約：
– Riemannian submanifold optimization with momentumは、サブマニフォールド上のイテレーションを保証するために、困難な微分方程式の解決または近似が必要であるため、計算が複雑である。
– 構造化された対称正定値行列にアフィン不変メトリックを適用したクラスの最適化アルゴリズムを簡素化することを提案している。
– 我々は、メトリックを保存し、問題をユークリッド無制約問題に動的に関連付けるRiemannian normal coordinatesの汎用版を提案している。
– 我々は、既存の構造化共分散のアプローチを説明し、簡素化するアプローチを提供し、行列の逆行列を必要としない大規模NNのトレーニングのための効率的な2次オプティマイザを開発するために、我々のアプローチを使用している。

要約(オリジナル)

Riemannian submanifold optimization with momentum is computationally challenging because ensuring iterates remain on the submanifold often requires solving or approximating difficult differential equations. We simplify such optimization algorithms for a class of structured symmetric positive-definite matrices with the affine invariant metric. We propose a generalized version of the Riemannian normal coordinates which preserves the metric and dynamically trivializes the problem into a Euclidean unconstrained problem. We use our approach to explain and simplify existing approaches for structured covariances and develop efficient second-order optimizers for training large-scale NNs without matrix inverses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI