Streamlining in the Riemannian Realm: Efficient Riemannian Optimization with Loopless Variance Reduction

要約

この研究では、ユークリッド設定とリーマン設定の両方で使用される重要な分散削減メカニズムに焦点を当て、リーマン多様体における確率的最適化を調査します。
リーマン分散低減法には通常、二重ループ構造が含まれており、各ループの開始時に完全な勾配を計算します。
最適な内部ループの長さを決定することは、実際には困難です。これは、未知の場合や推定が難しい場合が多い強い凸性定数や平滑性定数に依存するためです。
ユークリッド法に基づいて、リーマンループレス SVRG (R-LSVRG) および PAGE (R-PAGE) 法を導入します。
これらのメソッドは、外側のループを各反復のコイン投げによってトリガーされる確率的勾配計算に置き換え、より単純な証明、効率的なハイパーパラメーターの選択、および明確な収束の保証を保証します。
非凸リーマン最適化のフレームワークとして R-PAGE を使用して、さまざまな重要な設定への適用可能性を実証します。
たとえば、通信圧縮を使用した分散設定のリーマン MARINA (R-MAR​​INA) を導出し、リーマン多様体上の非凸分散最適化に対する理論上の最良の通信複雑性の保証を提供します。
実験結果は私たちの理論的発見を裏付けています。

要約(オリジナル)

In this study, we investigate stochastic optimization on Riemannian manifolds, focusing on the crucial variance reduction mechanism used in both Euclidean and Riemannian settings. Riemannian variance-reduced methods usually involve a double-loop structure, computing a full gradient at the start of each loop. Determining the optimal inner loop length is challenging in practice, as it depends on strong convexity or smoothness constants, which are often unknown or hard to estimate. Motivated by Euclidean methods, we introduce the Riemannian Loopless SVRG (R-LSVRG) and PAGE (R-PAGE) methods. These methods replace the outer loop with probabilistic gradient computation triggered by a coin flip in each iteration, ensuring simpler proofs, efficient hyperparameter selection, and sharp convergence guarantees. Using R-PAGE as a framework for non-convex Riemannian optimization, we demonstrate its applicability to various important settings. For example, we derive Riemannian MARINA (R-MARINA) for distributed settings with communication compression, providing the best theoretical communication complexity guarantees for non-convex distributed optimization over Riemannian manifolds. Experimental results support our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google