Boosting Generative Image Modeling via Joint Image-Feature Synthesis

要約

潜在的な拡散モデル（LDMS）は高品質の画像生成を支配しますが、表現学習を生成モデリングと統合することは依然として課題です。
拡散モデルを活用して、低レベルの画像潜伏物質（変動自動エンコーダーから）と高レベルのセマンティック機能（Dinoのような前処理された自己監視エンコーダーから）を共同でモデル化することにより、このギャップをシームレスにブリッジする新しい生成画像モデリングフレームワークを紹介します。
私たちの潜在的な女性的拡散アプローチは、純粋なノイズからコヒーレントな画像風のペアを生成し、生成的品質とトレーニング効率の両方を大幅に向上させることを学びますが、すべて標準的な拡散変圧器アーキテクチャの最小限の変更のみを必要とします。
複雑な蒸留目標の必要性を排除することにより、統一された設計はトレーニングを簡素化し、強力な新しい推論戦略のロックを解除します。表現ガイダンスは、画像生成を操縦および改良するためのセマンティクスを活用します。
条件付きおよび無条件の両方の設定で評価されたこの方法は、画質とトレーニングの収束速度の大幅な改善を実現し、表現に対応する生成モデリングの新しい方向性を確立します。

要約(オリジナル)

Latent diffusion models (LDMs) dominate high-quality image generation, yet integrating representation learning with generative modeling remains a challenge. We introduce a novel generative image modeling framework that seamlessly bridges this gap by leveraging a diffusion model to jointly model low-level image latents (from a variational autoencoder) and high-level semantic features (from a pretrained self-supervised encoder like DINO). Our latent-semantic diffusion approach learns to generate coherent image-feature pairs from pure noise, significantly enhancing both generative quality and training efficiency, all while requiring only minimal modifications to standard Diffusion Transformer architectures. By eliminating the need for complex distillation objectives, our unified design simplifies training and unlocks a powerful new inference strategy: Representation Guidance, which leverages learned semantics to steer and refine image generation. Evaluated in both conditional and unconditional settings, our method delivers substantial improvements in image quality and training convergence speed, establishing a new direction for representation-aware generative modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google