Joint Majorization-Minimization for Nonnegative Matrix Factorization with the $β$-divergence

要約

タイトル：β-ダイバージェンスを用いた非負値行列因子分解のための共同主尺度最小化法

要約：

– ベータダイバージェンスの目的関数を持つ非負値行列因子分解（NMF）のための新しい乗算更新法が提案された。
– この新しい更新法は、2つの因子を共同で取り扱い、各反復で目的関数の厳密な上限である補助関数が作成され最小化される共同主尺度最小化法（MM）スキームから導出される。
– これは、従来のアプローチとは対照的で、従来のアプローチでは、各因子個別にメジャライザが導出される。
– 我々の共同MMアルゴリズムも簡単に実装できる乗算更新を生成しますが、特に2つのベータダイバージェンスである2乗ユークリッド距離とKullback-LeiblerまたはItakura-Saitoダイバージェンスのような有用なアプリケーションに対しては、同等に良い解の計算時間を大幅に短縮します。
– 顔画像、オーディオスペクトログラム、高次元データ、カウント数のような多様なデータセットを使用した実験結果を報告します。
– ベータ値とデータセットの値に依存して、従来の交互スキームに比べてCPU時間の削減が13〜78％まで得られることがあります。

要約(オリジナル)

This article proposes new multiplicative updates for nonnegative matrix factorization (NMF) with the $\beta$-divergence objective function. Our new updates are derived from a joint majorization-minimization (MM) scheme, in which an auxiliary function (a tight upper bound of the objective function) is built for the two factors jointly and minimized at each iteration. This is in contrast with the classic approach in which a majorizer is derived for each factor separately. Like that classic approach, our joint MM algorithm also results in multiplicative updates that are simple to implement. They however yield a significant drop of computation time (for equally good solutions), in particular for some $\beta$-divergences of important applicative interest, such as the squared Euclidean distance and the Kullback-Leibler or Itakura-Saito divergences. We report experimental results using diverse datasets: face images, an audio spectrogram, hyperspectral data and song play counts. Depending on the value of $\beta$ and on the dataset, our joint MM approach can yield CPU time reductions from about $13\%$ to $78\%$ in comparison to the classic alternating scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI