Block Majorization Minimization with Extrapolation and Application to $β$-NMF

要約

我々は、多凸最適化問題のクラスを解決するための外挿によるブロックマジョリゼーション最小化法 (BMMe) を提案します。
BMMe の外挿パラメータは、新しい適応更新ルールを使用して更新されます。
ブロック多数化最小化が、反復ごとにブレグマン発散を適応的に更新するブロック ミラー降下法として再定式化できることを示すことにより、BMMe のその後の収束を確立します。
この方法を使用して、$\beta\in [1,2]$ の $\beta$-divergences ($\beta$-NMF) による非負行列因数分解問題に取り組む効率的なアルゴリズムを設計します。
これらのアルゴリズムは、外挿を伴う乗算更新であり、収束保証を提供する新しい結果の恩恵を受けます。
また、広範な実験を通じて $\beta$-NMF の BMMe が大幅に加速されることを実証的に示しています。

要約(オリジナル)

We propose a Block Majorization Minimization method with Extrapolation (BMMe) for solving a class of multi-convex optimization problems. The extrapolation parameters of BMMe are updated using a novel adaptive update rule. By showing that block majorization minimization can be reformulated as a block mirror descent method, with the Bregman divergence adaptively updated at each iteration, we establish subsequential convergence for BMMe. We use this method to design efficient algorithms to tackle nonnegative matrix factorization problems with the $\beta$-divergences ($\beta$-NMF) for $\beta\in [1,2]$. These algorithms, which are multiplicative updates with extrapolation, benefit from our novel results that offer convergence guarantees. We also empirically illustrate the significant acceleration of BMMe for $\beta$-NMF through extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google