The Score-Difference Flow for Implicit Generative Modeling

要約

暗黙的生成モデリング (IGM) は、ターゲット データ分布の特性に一致する合成データのサンプルを生成することを目的としています。
最近の研究 (スコアマッチング ネットワーク、拡散モデルなど) は、周囲空間における動的摂動や流れを介して合成ソース データをターゲット分布に向けてプッシュするという観点から IGM 問題にアプローチしています。
この方向では、任意のターゲット分布とソース分布の間のスコア差 (SD) を、それらの間のカルバック・ライブラー発散を最適に低減するフローとして提示します。
SD フローを便利なプロキシ ディストリビューションに適用します。これは、元のディストリビューションが調整されている場合に限り、調整されます。
特定の条件下で、この定式化がノイズ除去拡散モデルと形式的に等価であることを実証します。
また、敵対的生成ネットワークのトレーニングには隠れたデータ最適化副次問題が含まれていることも示します。この副次問題は、識別器が最適である場合に損失関数の特定の選択の下で SD フローを誘発します。
その結果、SD フローは、「生成モデリングのトリレンマ」の 3 つの課題 (高いサンプル品質、モード カバレッジ、高速サンプリング) に個別に対処するモデル クラス間の理論的なリンクを提供し、それによって統一されたアプローチの準備を整えます。

要約(オリジナル)

Implicit generative modeling (IGM) aims to produce samples of synthetic data matching the characteristics of a target data distribution. Recent work (e.g. score-matching networks, diffusion models) has approached the IGM problem from the perspective of pushing synthetic source data toward the target distribution via dynamical perturbations or flows in the ambient space. In this direction, we present the score difference (SD) between arbitrary target and source distributions as a flow that optimally reduces the Kullback-Leibler divergence between them. We apply the SD flow to convenient proxy distributions, which are aligned if and only if the original distributions are aligned. We demonstrate the formal equivalence of this formulation to denoising diffusion models under certain conditions. We also show that the training of generative adversarial networks includes a hidden data-optimization sub-problem, which induces the SD flow under certain choices of loss function when the discriminator is optimal. As a result, the SD flow provides a theoretical link between model classes that individually address the three challenges of the ‘generative modeling trilemma’ — high sample quality, mode coverage, and fast sampling — thereby setting the stage for a unified approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google