DART: Denoising Autoregressive Transformer for Scalable Text-to-Image Generation

要約

拡散モデルは、視覚生成の支配的なアプローチとなっています。
彼らは、入力にノイズを徐々に追加するマルコフのプロセスを除去することによって訓練されています。
マルコビアの特性は、生成軌道を完全に利用するモデルの能力を制限し、トレーニングと推論中の非効率性につながると主張します。
このホワイトペーパーでは、非マルコビアンフレームワーク内で自己回帰（AR）と拡散を統合するトランスベースのモデルであるDARTを提案します。
DARTは、標準言語モデルと同じアーキテクチャを持つARモデルを使用して、画像パッチを空間的かつスペクトル的に拒否します。
DARTは、柔軟性を維持しながら、より効果的な画像モデリングを可能にする画像量子化に依存していません。
さらに、DARTは、統一されたモデルでテキストデータと画像データの両方でシームレスにトレーニングします。
私たちのアプローチは、クラスで条件付けされたテキストからイメージから画像の生成タスクの競争力のあるパフォーマンスを示しており、従来の拡散モデルに代わるスケーラブルで効率的な代替品を提供します。
この統一されたフレームワークを通じて、DARTは、スケーラブルで高品質の画像合成のための新しいベンチマークを設定します。

要約(オリジナル)

Diffusion models have become the dominant approach for visual generation. They are trained by denoising a Markovian process which gradually adds noise to the input. We argue that the Markovian property limits the model’s ability to fully utilize the generation trajectory, leading to inefficiencies during training and inference. In this paper, we propose DART, a transformer-based model that unifies autoregressive (AR) and diffusion within a non-Markovian framework. DART iteratively denoises image patches spatially and spectrally using an AR model that has the same architecture as standard language models. DART does not rely on image quantization, which enables more effective image modeling while maintaining flexibility. Furthermore, DART seamlessly trains with both text and image data in a unified model. Our approach demonstrates competitive performance on class-conditioned and text-to-image generation tasks, offering a scalable, efficient alternative to traditional diffusion models. Through this unified framework, DART sets a new benchmark for scalable, high-quality image synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google