Beta Diffusion

要約

デマスキングとノイズ除去を統合して制限された範囲内でデータを生成する新しい生成モデリング手法であるベータ拡散を紹介します。
ベータ拡散では、スケーリングおよびシフトされたベータ分布を使用して、時間の経過に伴う乗算遷移を利用して順拡散プロセスと逆拡散プロセスの両方を作成し、任意の時点のデータで順方向マージナルと逆方向条件の両方でベータ分布を維持します。
加法的ガウス ノイズと再重み付け証拠下限 (ELBO) に依存する従来の拡散ベースの生成モデルとは異なり、ベータ拡散は乗法的であり、KL 発散の凸性から導出される KL 発散上限 (KLUB) を使用して最適化されます。
提案された KLUB は、負の ELBO と比較してベータ拡散の最適化に効果的であることを示します。負の ELBO は、2 つの引数を交換した同じ KL 発散の KLUB として導出することもできます。
ブレグマン発散で表されるベータ拡散の損失関数は、最適化における KLUB の有効性をさらに裏付けています。
合成データと自然画像の両方に関する実験結果は、範囲限定データの生成モデリングにおけるベータ拡散のユニークな機能を実証し、拡散モデルの最適化における KLUB の有効性を検証し、それによって KLUB を拡散ベースの生成モデルのファミリーに貴重な追加物とし、
トレーニングに使用される最適化手法。

要約(オリジナル)

We introduce beta diffusion, a novel generative modeling method that integrates demasking and denoising to generate data within bounded ranges. Using scaled and shifted beta distributions, beta diffusion utilizes multiplicative transitions over time to create both forward and reverse diffusion processes, maintaining beta distributions in both the forward marginals and the reverse conditionals, given the data at any point in time. Unlike traditional diffusion-based generative models relying on additive Gaussian noise and reweighted evidence lower bounds (ELBOs), beta diffusion is multiplicative and optimized with KL-divergence upper bounds (KLUBs) derived from the convexity of the KL divergence. We demonstrate that the proposed KLUBs are more effective for optimizing beta diffusion compared to negative ELBOs, which can also be derived as the KLUBs of the same KL divergence with its two arguments swapped. The loss function of beta diffusion, expressed in terms of Bregman divergence, further supports the efficacy of KLUBs for optimization. Experimental results on both synthetic data and natural images demonstrate the unique capabilities of beta diffusion in generative modeling of range-bounded data and validate the effectiveness of KLUBs in optimizing diffusion models, thereby making them valuable additions to the family of diffusion-based generative models and the optimization techniques used to train them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google