Your ViT is Secretly a Hybrid Discriminative-Generative Diffusion Model

要約

拡散ノイズ除去確率モデル (DDPM) とビジョン トランスフォーマー (ViT) は、それぞれ生成タスクと識別タスクで大きな進歩を示しており、これまでのところ、これらのモデルは主に独自のドメインで開発されてきました。
このホワイト ペーパーでは、ViT アーキテクチャを DDPM に統合することで DDPM と ViT の間の直接接続を確立し、Generative ViT (GenViT) と呼ばれる新しい生成モデルを紹介します。
ViT のモデリングの柔軟性により、GenViT をハイブリッド識別生成モデリングにさらに拡張し、ハイブリッド ViT (HybViT) を導入することができます。
私たちの研究は、画像の生成と分類のために単一の ViT を共同で調査した最初の研究の 1 つです。
一連の実験を行って、提案されたモデルのパフォーマンスを分析し、生成タスクと識別タスクの両方で従来の最先端技術よりも優れていることを実証します。
コードと事前トレーニング済みのモデルは、https://github.com/sndnyang/Diffusion_ViT にあります。

要約(オリジナル)

Diffusion Denoising Probability Models (DDPM) and Vision Transformer (ViT) have demonstrated significant progress in generative tasks and discriminative tasks, respectively, and thus far these models have largely been developed in their own domains. In this paper, we establish a direct connection between DDPM and ViT by integrating the ViT architecture into DDPM, and introduce a new generative model called Generative ViT (GenViT). The modeling flexibility of ViT enables us to further extend GenViT to hybrid discriminative-generative modeling, and introduce a Hybrid ViT (HybViT). Our work is among the first to explore a single ViT for image generation and classification jointly. We conduct a series of experiments to analyze the performance of proposed models and demonstrate their superiority over prior state-of-the-arts in both generative and discriminative tasks. Our code and pre-trained models can be found in https://github.com/sndnyang/Diffusion_ViT .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google