Predictive Low Rank Matrix Learning under Partial Observations: Mixed-Projection ADMM

要約

我々は、真の基礎となる行列に線形に依存する完全に観測されたサイド情報の存在下で、低ランクの仮定の下で部分的に観測された行列を学習する問題を研究します。
この問題は、推奨システム、信号処理、システム識別、画像ノイズ除去などのアプリケーションで発生する、統計、オペレーションズ リサーチ、機械学習の中心的な問題である行列補完問題の重要な一般化で構成されています。
この問題を、観察されたエントリに対する再構成の適合の強度と、サイド情報を予測する再構成の能力とのバランスをとることを目的とした最適化問題として形式化します。
結果として得られる最適化問題の混合射影再定式化を導出し、強力な半定値円錐緩和を提示します。
対象となる問題に対して高品質で実現可能な解決策を生み出す、乗算器アルゴリズムの効率的でスケーラブルな交互方向法を設計します。
私たちの数値結果は、小さなランク領域 ($k \leq 15$) において、私たちのアルゴリズムが、返された解よりも平均で $79\%$ 低い目標値と $90.1\%$ 低い $\ell_2$ 再構成誤差を達成する解を出力することを示しています。
実験的に最もパフォーマンスの高いベンチマーク手法による。
私たちのアルゴリズムの実行時間はベンチマーク手法と競合し、多くの場合それよりも優れています。
私たちのアルゴリズムは、$n = 10000$ 行と $m = 10000$ 列の問題を 1 分以内に解決できます。

要約(オリジナル)

We study the problem of learning a partially observed matrix under the low rank assumption in the presence of fully observed side information that depends linearly on the true underlying matrix. This problem consists of an important generalization of the Matrix Completion problem, a central problem in Statistics, Operations Research and Machine Learning, that arises in applications such as recommendation systems, signal processing, system identification and image denoising. We formalize this problem as an optimization problem with an objective that balances the strength of the fit of the reconstruction to the observed entries with the ability of the reconstruction to be predictive of the side information. We derive a mixed-projection reformulation of the resulting optimization problem and present a strong semidefinite cone relaxation. We design an efficient, scalable alternating direction method of multipliers algorithm that produces high quality feasible solutions to the problem of interest. Our numerical results demonstrate that in the small rank regime ($k \leq 15$), our algorithm outputs solutions that achieve on average $79\%$ lower objective value and $90.1\%$ lower $\ell_2$ reconstruction error than the solutions returned by the experiment-wise best performing benchmark method. The runtime of our algorithm is competitive with and often superior to that of the benchmark methods. Our algorithm is able to solve problems with $n = 10000$ rows and $m = 10000$ columns in less than a minute.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google