Structure-Guided Adversarial Training of Diffusion Models

要約

拡散モデルは、さまざまな生成アプリケーションにおいて優れた有効性を実証しています。
既存のモデルは、データ分布モデリングのノイズ除去スコア マッチング損失の加重合計を最小化することに重点を置いていますが、そのトレーニングは主にインスタンス レベルの最適化に重点を置き、サンプル間のペアごとの関係を示す各ミニバッチ内の貴重な構造情報を見落としています。
この制限に対処するために、拡散モデルの構造誘導型敵対的トレーニング (SADM) を導入します。
この先駆的なアプローチでは、各トレーニング バッチのサンプル間の多様体構造をモデルに強制的に学習させます。
モデルがデータ分布内の本物の多様体構造を確実に捕捉するために、ミニマックス ゲームで新しい構造弁別器に対する拡散ジェネレーターの敵対的トレーニングを提唱し、実際の多様体構造を生成されたものから区別します。
SADM は既存の拡散変換器 (DiT) を大幅に改善し、12 のデータセットにわたる画像生成およびクロスドメイン微調整タスクにおいて既存の方法を上回り、クラス条件付き画像に対して ImageNet 上で新しい最先端の FID 1.58 および 2.11 を確立します。
それぞれ 256×256 と 512×512 の解像度で生成します。

要約(オリジナル)

Diffusion models have demonstrated exceptional efficacy in various generative applications. While existing models focus on minimizing a weighted sum of denoising score matching losses for data distribution modeling, their training primarily emphasizes instance-level optimization, overlooking valuable structural information within each mini-batch, indicative of pair-wise relationships among samples. To address this limitation, we introduce Structure-guided Adversarial training of Diffusion Models (SADM). In this pioneering approach, we compel the model to learn manifold structures between samples in each training batch. To ensure the model captures authentic manifold structures in the data distribution, we advocate adversarial training of the diffusion generator against a novel structure discriminator in a minimax game, distinguishing real manifold structures from the generated ones. SADM substantially improves existing diffusion transformers (DiT) and outperforms existing methods in image generation and cross-domain fine-tuning tasks across 12 datasets, establishing a new state-of-the-art FID of 1.58 and 2.11 on ImageNet for class-conditional image generation at resolutions of 256×256 and 512×512, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google