Low-complexity subspace-descent over symmetric positive definite manifold

要約

この研究では、対称正定多様体 (SPD) 上の関数を最小化するための、低複雑性のリーマン部分空間降下アルゴリズムを提案します。
既存のリーマン勾配降下法とは異なり、提案されたアプローチは慎重に選択された部分空間を利用し、反復のコレスキー因子と疎行列の積として更新を記述することができます。
結果として得られる更新により、SPD 多様体上の他のほぼすべてのリーマン最適化アルゴリズムで通常必要となる、行列のべき乗や密な行列の乗算などのコストのかかる行列演算が回避されます。
さらに、カーネル行列学習、ガウス分布の共分散推定、楕円輪郭分布の最尤パラメータ推定、リーマン勾配が適用できるガウス混合モデル問題のパラメータ推定など、さまざまなアプリケーションで生じる幅広いクラスの関数を特定します。
効率的に計算できるようになります。
提案された一方向および多方向リーマン部分空間降下変種は、$\ と比較して、反復ごとにそれぞれ $\mathcal{O}(n)$ および $\mathcal{O}(n^2)$ の複雑さを引き起こします。
mathcal{O}(n^3)$ 以上の複雑さは、既存のすべてのリーマン勾配降下法バリアントによって発生します。
提案されたアルゴリズムの優れた実行時間と反復ごとの複雑さの低さは、大規模な共分散推定問題の数値テストによっても実証されています。

要約(オリジナル)

This work puts forth low-complexity Riemannian subspace descent algorithms for the minimization of functions over the symmetric positive definite (SPD) manifold. Different from the existing Riemannian gradient descent variants, the proposed approach utilizes carefully chosen subspaces that allow the update to be written as a product of the Cholesky factor of the iterate and a sparse matrix. The resulting updates avoid the costly matrix operations like matrix exponentiation and dense matrix multiplication, which are generally required in almost all other Riemannian optimization algorithms on SPD manifold. We further identify a broad class of functions, arising in diverse applications, such as kernel matrix learning, covariance estimation of Gaussian distributions, maximum likelihood parameter estimation of elliptically contoured distributions, and parameter estimation in Gaussian mixture model problems, over which the Riemannian gradients can be calculated efficiently. The proposed uni-directional and multi-directional Riemannian subspace descent variants incur per-iteration complexities of $\mathcal{O}(n)$ and $\mathcal{O}(n^2)$ respectively, as compared to the $\mathcal{O}(n^3)$ or higher complexity incurred by all existing Riemannian gradient descent variants. The superior runtime and low per-iteration complexity of the proposed algorithms is also demonstrated via numerical tests on large-scale covariance estimation problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google