A fast Multiplicative Updates algorithm for Non-negative Matrix Factorization

要約

タイトル：非負値行列因子分解のための高速乗算更新アルゴリズム

要約：

– 非負値行列因子分解は、データ行列を解釈しやすい部分に分解するために用いられる非監督学習の重要なツールである。
– 過去30年間に多くのアルゴリズムが提案されてきたが、その中でもLeeとSeungが2002年に提案した乗算更新アルゴリズムはよく知られている。
– 乗算更新には多くの興味深い特徴がある。例えば、実装が簡単であり、希疎性を考慮した非負値行列因子分解などの人気のある変種にも適応できる。
– 本稿では、交互主体最小化アルゴリズムとして見た場合、各代替サブ問題のヘッシアン行列のよりタイトな上限を作り出すことで乗算更新アルゴリズムを改善することを提案する。
– 収束は引き続き保証され、合成データセットと実世界のデータセットの両方で、提案されたfastMUアルゴリズムが通常の乗算更新アルゴリズムよりも数桁速く、フロベニウス損失における最新の手法と競争できることが実験的に確認された。

要約(オリジナル)

Nonnegative Matrix Factorization is an important tool in unsupervised machine learning to decompose a data matrix into a product of parts that are often interpretable. Many algorithms have been proposed during the last three decades. A well-known method is the Multiplicative Updates algorithm proposed by Lee and Seung in 2002. Multiplicative updates have many interesting features: they are simple to implement and can be adapted to popular variants such as sparse Nonnegative Matrix Factorization, and, according to recent benchmarks, is state-of-the-art for many problems where the loss function is not the Frobenius norm. In this manuscript, we propose to improve the Multiplicative Updates algorithm seen as an alternating majorization minimization algorithm by crafting a tighter upper bound of the Hessian matrix for each alternate subproblem. Convergence is still ensured and we observe in practice on both synthetic and real world dataset that the proposed fastMU algorithm is often several orders of magnitude faster than the regular Multiplicative Updates algorithm, and can even be competitive with state-of-the-art methods for the Frobenius loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI