Sparse Plus Low Rank Matrix Decomposition: A Discrete Optimization Approach

要約

タイトル: 疎行列と低ランク行列分解：離散最適化アプローチ

要約：
– 疎行列と低ランク行列分解問題(SLR)を研究する。
– SLRは、汚染されたデータ行列を、摂動の疎行列とグラウンドトゥルースを含む低ランク行列に分解する問題であり、データ圧縮、潜在的な意味インデキシング、共同フィルタリング、医療画像などの様々なアプリケーションにおいて発生する基本的な問題である。
– SLRの新しいフォーミュレーションを紹介し、その基になる離散性に直接モデル化する。
– このフォーミュレーションに対し、交互最小化ヒューリスティックを開発し、高品質な解を計算する。また、意味のある界を提供する新しい半正定リラクゼーションも開発されている。
– 式を解くために、カスタムブランチアンドバウンドアルゴリズムを開発し、凸緩和を利用し、SLRの小規模インスタンスを保証された(近い)最適性にまで解く。
– 入力されたn-by-n行列に対して、ヒューリスティックはn=10000の場合、数分でスケーリングでき、リラクゼーションはn=200の場合、数時間でスケーリングでき、そしてブランチアンドバウンドアルゴリズムはn=25の場合、数分でスケーリングできる。
– 数値的な結果は、ランク、疎さ、そして平均二乗誤差の観点で既存の最先端アプローチよりも優れており、同程度のランタイムを維持していることが示されている。

要約(オリジナル)

We study the Sparse Plus Low-Rank decomposition problem (SLR), which is the problem of decomposing a corrupted data matrix into a sparse matrix of perturbations plus a low-rank matrix containing the ground truth. SLR is a fundamental problem in Operations Research and Machine Learning which arises in various applications, including data compression, latent semantic indexing, collaborative filtering, and medical imaging. We introduce a novel formulation for SLR that directly models its underlying discreteness. For this formulation, we develop an alternating minimization heuristic that computes high-quality solutions and a novel semidefinite relaxation that provides meaningful bounds for the solutions returned by our heuristic. We also develop a custom branch-and-bound algorithm that leverages our heuristic and convex relaxations to solve small instances of SLR to certifiable (near) optimality. Given an input $n$-by-$n$ matrix, our heuristic scales to solve instances where $n=10000$ in minutes, our relaxation scales to instances where $n=200$ in hours, and our branch-and-bound algorithm scales to instances where $n=25$ in minutes. Our numerical results demonstrate that our approach outperforms existing state-of-the-art approaches in terms of rank, sparsity, and mean-square error while maintaining a comparable runtime.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI