Efficient Alternating Minimization with Applications to Weighted Low Rank Approximation

要約

加重低ランク近似は数値線形代数の基本的な問題であり、機械学習に多くの用途があります。
行列 $M \in \mathbb{R}^{n \times n}$、重み行列 $W \in \mathbb{R}_{\geq 0}^{n \times n}$、パラメータを指定すると、
$k$ の場合、目標は、次のような 2 つの行列 $U, V \in \mathbb{R}^{n \times k}$ を出力することです。
W \circ (M – U V^\top) \|_F$ は最小化されます。$\circ$ はアダマール積を示します。
このような問題は NP 困難であることが知られており、指数時間仮説 [GG11、RSW16] を仮定して近似することさえ困難です。
一方、交互最小化は、重み付けされた低ランク近似を近似するための優れたヒューリスティックなソリューションです。
研究 [LLR16] は、穏やかな仮定の下で、交互最小化が証明可能な保証を提供することを示しています。
この研究では、交互最小化のための効率的で堅牢なフレームワークを開発します。
重み付き低ランク近似の場合、これにより [LLR16] の実行時間が $n^2 k^2$ から $n^2k$ に改善されます。
私たちの作業フレームワークの中心となるのは、交互最小化の堅牢な分析を備えた高精度の多重応答回帰ソルバーです。

要約(オリジナル)

Weighted low rank approximation is a fundamental problem in numerical linear algebra, and it has many applications in machine learning. Given a matrix $M \in \mathbb{R}^{n \times n}$, a weight matrix $W \in \mathbb{R}_{\geq 0}^{n \times n}$, a parameter $k$, the goal is to output two matrices $U, V \in \mathbb{R}^{n \times k}$ such that $\| W \circ (M – U V^\top) \|_F$ is minimized, where $\circ$ denotes the Hadamard product. Such a problem is known to be NP-hard and even hard to approximate assuming Exponential Time Hypothesis [GG11, RSW16]. Meanwhile, alternating minimization is a good heuristic solution for approximating weighted low rank approximation. The work [LLR16] shows that, under mild assumptions, alternating minimization does provide provable guarantees. In this work, we develop an efficient and robust framework for alternating minimization. For weighted low rank approximation, this improves the runtime of [LLR16] from $n^2 k^2$ to $n^2k$. At the heart of our work framework is a high-accuracy multiple response regression solver together with a robust analysis of alternating minimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google