A space-decoupling framework for optimization on bounded-rank matrices with orthogonally invariant constraints

要約

低ランクの最適化に追加の制約を課すことで、関心が高まっています。
ただし、結合された制約のジオメトリは、よく発達した低ランク構造を妨げ、問題を複雑にします。
この目的のために、直交的に不変の制約を備えた境界ランクマトリックスの最適化のためのスペース分解フレームワークを提案します。
「スペース分解」はいくつかの方法で反映されています。
結合された制約の接線コーンは、各制約の接線コーンの交差点であることを示します。
さらに、絡み合った境界ランクと直交の不変の制約を2つのスペースに分離し、滑らかな多様体で最適化します。
このマニホールドにRiemannianアルゴリズムを実装することは、追加の制約のジオメトリがわかっている限り、痛みがありません。
さらに、再定式化された問題と元の問題との同等性を明らかにします。
現実世界のアプリケーションに関する数値実験 – 球状データフィッティング、グラフの類似性測定、低ランクSDP、マルコフプロセスのモデル削減、強化学習、および深い学習 – 提案されたフレームワークの優位性を検証します。

要約(オリジナル)

Imposing additional constraints on low-rank optimization has garnered growing interest. However, the geometry of coupled constraints hampers the well-developed low-rank structure and makes the problem intricate. To this end, we propose a space-decoupling framework for optimization on bounded-rank matrices with orthogonally invariant constraints. The “space-decoupling’ is reflected in several ways. We show that the tangent cone of coupled constraints is the intersection of tangent cones of each constraint. Moreover, we decouple the intertwined bounded-rank and orthogonally invariant constraints into two spaces, leading to optimization on a smooth manifold. Implementing Riemannian algorithms on this manifold is painless as long as the geometry of additional constraints is known. In addition, we unveil the equivalence between the reformulated problem and the original problem. Numerical experiments on real-world applications — spherical data fitting, graph similarity measuring, low-rank SDP, model reduction of Markov processes, reinforcement learning, and deep learning — validate the superiority of the proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google