The Score-Difference Flow for Implicit Generative Modeling

要約

タイトル：隠れ生成モデルのためのスコア差分フロー

要約：

– 隠れ生成モデル(IGM）は、ターゲットのデータ分布の特性に一致する合成データのサンプルを生成することを目的としている。
– 最近の研究では、スコアマッチングネットワーク、拡散モデルなどを用いて、合成ソースデータをターゲット分布に向かって動的な摂動やフローを利用してアプローチしている。
– この研究では、ターゲットとソースの任意の分布間のスコア差分(SD)を導入し、それを最適化して、両者のKullback-Leibler距離を最小化し、Schrödingerブリッジ問題を解決するフローとして利用する。
– このSDフローは、元の分布が整列している場合に限り、便利なプロキシ分布に適用される。
– 特定の条件下では、SDフローの定式化がノイズ除去拡散モデルと等価であることが示されている。
– 拡散モデルとは異なり、SDフローは事前分布に制限を設けません。
– また、生成敵対ネットワークのトレーニングは、最適な識別器で結果を得た場合、潜在的なデータ最適化のサブプロブレムを含んでおり、損失関数の選択肢の一部に応じてSDフローを誘発する。
– 結果として、SDフローは、高品質のサンプル、モードカバレッジ、高速サンプリングの3つの課題に対応するモデルクラスを組み合わせて、理論的なリンクを提供している。

要約(オリジナル)

Implicit generative modeling (IGM) aims to produce samples of synthetic data matching the characteristics of a target data distribution. Recent work (e.g. score-matching networks, diffusion models) has approached the IGM problem from the perspective of pushing synthetic source data toward the target distribution via dynamical perturbations or flows in the ambient space. We introduce the score difference (SD) between arbitrary target and source distributions as a flow that optimally reduces the Kullback-Leibler divergence between them while also solving the Schr\’odinger bridge problem. We apply the SD flow to convenient proxy distributions, which are aligned if and only if the original distributions are aligned. We demonstrate the formal equivalence of this formulation to denoising diffusion models under certain conditions. However, unlike diffusion models, SD flow places no restrictions on the prior distribution. We also show that the training of generative adversarial networks includes a hidden data-optimization sub-problem, which induces the SD flow under certain choices of loss function when the discriminator is optimal. As a result, the SD flow provides a theoretical link between model classes that, taken together, address all three challenges of the ‘generative modeling trilemma’: high sample quality, mode coverage, and fast sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI