Training Energy-Based Normalizing Flow with Score-Matching Objectives

要約

この論文では、流れベースの生成モデルとエネルギーベースの生成モデルのパラメータ化の間の関係を確立し、エネルギーベースの正規化流れ (EBFlow) と呼ばれる新しい流れベースのモデリング アプローチを紹介します。
スコアマッチング目標を使用して EBFlow を最適化することにより、線形変換のヤコビアン行列式の計算を完全にバイパスできることを示します。
この機能により、$\mathcal{O}(D^2L)$ から $\mathcal{O}(D^
3L)$ は、$D$ 次元の入力を受け入れる $L$ 層モデルの場合です。
これにより、EBFlow のトレーニングが、一般的に採用されている最尤トレーニング方法よりも効率的になります。
実行時間の短縮に加えて、スコアマッチング手法の分析に基づいて開発された多くの技術を通じて、EBFlow のトレーニングの安定性と経験的なパフォーマンスも強化されています。
実験結果は、私たちのアプローチが最尤推定と比較して大幅な高速化を達成しながら、負の対数尤度 (NLL) に関しては顕著なマージンで以前の効率的なトレーニング手法を上回っていることを示しています。

要約(オリジナル)

In this paper, we establish a connection between the parameterization of flow-based and energy-based generative models, and present a new flow-based modeling approach called energy-based normalizing flow (EBFlow). We demonstrate that by optimizing EBFlow with score-matching objectives, the computation of Jacobian determinants for linear transformations can be entirely bypassed. This feature enables the use of arbitrary linear layers in the construction of flow-based models without increasing the computational time complexity of each training iteration from $\mathcal{O}(D^2L)$ to $\mathcal{O}(D^3L)$ for an $L$-layered model that accepts $D$-dimensional inputs. This makes the training of EBFlow more efficient than the commonly-adopted maximum likelihood training method. In addition to the reduction in runtime, we enhance the training stability and empirical performance of EBFlow through a number of techniques developed based on our analysis on the score-matching methods. The experimental results demonstrate that our approach achieves a significant speedup compared to maximum likelihood estimation, while outperforming prior efficient training techniques with a noticeable margin in terms of negative log-likelihood (NLL).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google