Recovering Simultaneously Structured Data via Non-Convex Iteratively Reweighted Least Squares

要約

線形観測から複数の異質な低次元構造に付着したデータを復元する問題に対する新しいアルゴリズムを提案します。
行が疎でランクが低いデータ行列に焦点を当て、両方の構造を活用できる反復再重み付け最小二乗 (IRLS) アルゴリズムを提案および分析します。
特に、行の疎性とランクの非凸サロゲートの組み合わせが最適化され、そのバランスがアルゴリズムに組み込まれています。
我々は、凸型サロゲートの組み合わせでは不可能であることが知られている、最小限のサンプル複雑さ（定数と対数係数まで）の領域で、同時に構造化されたデータ行列への反復の局所二次収束を証明します。
実験では、IRLS 法が良好な経験的収束を示し、最先端の方法よりも少ない測定値から行疎行列と低ランク行列を同時に特定できることを示します。
コードは https://github.com/ckuemmerle/simirls で入手できます。

要約(オリジナル)

We propose a new algorithm for the problem of recovering data that adheres to multiple, heterogeneous low-dimensional structures from linear observations. Focusing on data matrices that are simultaneously row-sparse and low-rank, we propose and analyze an iteratively reweighted least squares (IRLS) algorithm that is able to leverage both structures. In particular, it optimizes a combination of non-convex surrogates for row-sparsity and rank, a balancing of which is built into the algorithm. We prove locally quadratic convergence of the iterates to a simultaneously structured data matrix in a regime of minimal sample complexity (up to constants and a logarithmic factor), which is known to be impossible for a combination of convex surrogates. In experiments, we show that the IRLS method exhibits favorable empirical convergence, identifying simultaneously row-sparse and low-rank matrices from fewer measurements than state-of-the-art methods. Code is available at https://github.com/ckuemmerle/simirls.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google