Accelerated Algorithms for Nonlinear Matrix Decomposition with the ReLU function

要約

この論文では、次の非線形行列分解 (NMD) 問題を研究します。スパース非負行列 $X$ が与えられた場合、$X \about f(\Theta)$ となるような低ランク行列 $\Theta$ を見つけます。ここで、$
f$ は要素ごとの非線形関数です。
$f(\cdot) = \max(0, \cdot)$ の場合、つまり整流単位 (ReLU) の非線形活性化に焦点を当てます。
対応する問題を ReLU-NMD と呼びます。
まず、ReLU-NMD に取り組むために開発された既存のアプローチの概要を簡単に説明します。
次に、2 つの新しいアルゴリズムを導入します。(1) 適応ネステロフ外挿を使用して既存のアルゴリズムを加速する積極的加速 NMD (A-NMD)、および (2) $\Theta = WH をパラメータ化する 3 ブロック NMD (3B-NMD)
$ となり、計算コストの大幅な削減につながります。
また、ランク関数の代理として核ノルムに基づいた効果的な初期化戦略も提案します。
合成データセットと実世界のデータセットに対する、提案されたアルゴリズム (gitlab で入手可能) の有効性を示します。

要約(オリジナル)

In this paper, we study the following nonlinear matrix decomposition (NMD) problem: given a sparse nonnegative matrix $X$, find a low-rank matrix $\Theta$ such that $X \approx f(\Theta)$, where $f$ is an element-wise nonlinear function. We focus on the case where $f(\cdot) = \max(0, \cdot)$, the rectified unit (ReLU) non-linear activation. We refer to the corresponding problem as ReLU-NMD. We first provide a brief overview of the existing approaches that were developed to tackle ReLU-NMD. Then we introduce two new algorithms: (1) aggressive accelerated NMD (A-NMD) which uses an adaptive Nesterov extrapolation to accelerate an existing algorithm, and (2) three-block NMD (3B-NMD) which parametrizes $\Theta = WH$ and leads to a significant reduction in the computational cost. We also propose an effective initialization strategy based on the nuclear norm as a proxy for the rank function. We illustrate the effectiveness of the proposed algorithms (available on gitlab) on synthetic and real-world data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google