Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $β$-divergence

要約

タイトル：$\beta$-divergenceを用いた疎な非負値行列因子分解のためのMajorization-minimization

要約：

– 疎な非負値行列因子分解において、特定の因子（アクティベーション行列）の疎な正則化を行うための新しい乗算更新法が提案された。
– 問題を不適切なものにしないために、もう1つの因子（辞書行列）のノルムを制御する必要があることが知られている。
– 辞書の列が単位ノルムを持つように制限することが標準的な手法であるが、これは非自明な最適化問題を生じる。
– 提案手法は、元の問題を等価なスケール不変目的関数の最適化問題に再パラメータ化することで、単純な乗算更新法を導出する。
– $\ell_{1}$正則化またはより「攻撃的な」対数正則化のためのブロック分割主導のmajorization-minimizationアルゴリズムが提案された。
– 他の最新手法と比較して、本手法は汎用的であり（任意の$\beta$値に適用可能である）、収束保証が付属している。
– 顔画像、オーディオスペクトログラム、高次元データ、および曲の再生回数など、さまざまなデータセットを使用して、既存のヒューリスティックおよびラグランジュ法と数値比較を行い、本手法が収束時の類似した品質の解を得るが、CPU時間が大幅に削減されることを示した。

要約(オリジナル)

This article introduces new multiplicative updates for nonnegative matrix factorization with the $\beta$-divergence and sparse regularization of one of the two factors (say, the activation matrix). It is well known that the norm of the other factor (the dictionary matrix) needs to be controlled in order to avoid an ill-posed formulation. Standard practice consists in constraining the columns of the dictionary to have unit norm, which leads to a nontrivial optimization problem. Our approach leverages a reparametrization of the original problem into the optimization of an equivalent scale-invariant objective function. From there, we derive block-descent majorization-minimization algorithms that result in simple multiplicative updates for either $\ell_{1}$-regularization or the more ‘aggressive’ log-regularization. In contrast with other state-of-the-art methods, our algorithms are universal in the sense that they can be applied to any $\beta$-divergence (i.e., any value of $\beta$) and that they come with convergence guarantees. We report numerical comparisons with existing heuristic and Lagrangian methods using various datasets: face images, an audio spectrogram, hyperspectral data, and song play counts. We show that our methods obtain solutions of similar quality at convergence (similar objective values) but with significantly reduced CPU times.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI