Low-complexity subspace-descent over symmetric positive definite manifold

要約

タイトル：対称正定値多様体上の低複雑度部分空間降下法
要約：

– 本研究では、対称正定値（SPD）多様体上の関数の最小化のための低複雑度リーマン・サブスペース降下アルゴリズムを提案する。
– 従来のリーマン勾配降下のバリアントとは異なり、提案されたアプローチは、アップデートをイテレーションのCholesky因子とスパース行列の積として書き込むことができる、慎重に選択された部分空間を活用しています。
– 結果として得られたアップデートは、一般的にSPD多様体上のほとんどすべてのリーマン最適化アルゴリズムで必要とされるコストの高い行列操作、例えば行列の指数関数や密行列の乗算などを回避します。
– また、カーネル行列学習、ガウス分布の共分散推定、楕円形状の分布の最大尤度パラメータ推定、ガウス混合モデル問題のパラメータ推定など、様々なアプリケーションで発生する幅広い関数のクラスを特定し、リーマン勾配を効率的に計算できることを示しています。
– 提案された一方向リーマン・サブスペース降下と多方向リーマン・サブスペース降下バリアントは、すべての既存のリーマン勾配降下バリアントが負担する$\mathcal{O}(n^3)$以上のイテレーションあたりの複雑度と比較して、$\mathcal{O}(n)$と$\mathcal{O}(n^2)$のイテレーションあたりの複雑度がかかります。
– 提案アルゴリズムの優れたランタイムと低いイテレーションあたりの複雑度は、大規模な共分散推定問題での数値テストによっても示されています。

要約(オリジナル)

This work puts forth low-complexity Riemannian subspace descent algorithms for the minimization of functions over the symmetric positive definite (SPD) manifold. Different from the existing Riemannian gradient descent variants, the proposed approach utilizes carefully chosen subspaces that allow the update to be written as a product of the Cholesky factor of the iterate and a sparse matrix. The resulting updates avoid the costly matrix operations like matrix exponentiation and dense matrix multiplication, which are generally required in almost all other Riemannian optimization algorithms on SPD manifold. We further identify a broad class of functions, arising in diverse applications, such as kernel matrix learning, covariance estimation of Gaussian distributions, maximum likelihood parameter estimation of elliptically contoured distributions, and parameter estimation in Gaussian mixture model problems, over which the Riemannian gradients can be calculated efficiently. The proposed uni-directional and multi-directional Riemannian subspace descent variants incur per-iteration complexities of $\mathcal{O}(n)$ and $\mathcal{O}(n^2)$ respectively, as compared to the $\mathcal{O}(n^3)$ or higher complexity incurred by all existing Riemannian gradient descent variants. The superior runtime and low per-iteration complexity of the proposed algorithms is also demonstrated via numerical tests on large-scale covariance estimation problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI