Simplifying Momentum-based Riemannian Submanifold Optimization

要約

反復が部分多様体上に残るようにするには、難しい微分方程式を解く必要があることが多いため、運動量を使用したリーマン部分多様体の最適化は計算上困難です。
アフィン不変メトリックを使用して、対称正定行列の部分多様体の最適化アルゴリズムを単純化します。
問題をユークリッドの制約のない問題に動的に矮小化する、リーマン正規座標の一般化バージョンを提案します。
私たちのアプローチを使用して、構造化された共分散に対する既存のアプローチを説明および単純化し、明示的な逆行列を使用しない深層学習用の効率的な 2 次オプティマイザーを開発します。

要約(オリジナル)

Riemannian submanifold optimization with momentum is computationally challenging because ensuring iterates remain on the submanifold often requires solving difficult differential equations. We simplify such optimization algorithms for the submanifold of symmetric positive-definite matrices with the affine invariant metric. We propose a generalized version of the Riemannian normal coordinates which dynamically trivializes the problem into a Euclidean unconstrained problem. We use our approach to explain and simplify existing approaches for structured covariances and develop efficient second-order optimizers for deep learning without explicit matrix inverses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google