Unified Multimodal Discrete Diffusion

要約

複数のモダリティにわたって理解して生成できるマルチモーダル生成モデルは、左から右、または上から下までトークンを処理する自己回帰（AR）アプローチによって支配されます。
これらのモデルは、画像キャプション、質問応答、画像生成などのさまざまなタスクの画像、テキスト、ビデオ、およびオーディオを共同で処理します。
この作業では、テキスト生成における最近の成功に基づいて、共同テキストと画像ドメインの統一生成定式化として離散拡散モデルを調査します。
離散拡散モデルは、生成されたサンプルの多様性と多様性の多様性、ジョイントマルチモーダルのインペインティング（テキストドメインと画像ドメインの両方で）を実行する能力、およびガイダンスによる生成のより大きな制御性など、ARモデルよりもいくつかの利点を提供します。
これらの利点を活用して、さまざまな下流タスクのテキストと画像を共同で理解し、生成できる最初の統一されたマルチモーダル離散拡散（UNIDISC）モデルを提示します。
UnidiscをマルチモーダルARモデルと比較し、スケーリング分析を実行し、UNIDISCがパフォーマンスと推論時間計算、制御性の向上、編集可能性、インポインティング、および推論時間と世代の品質の間の柔軟なトレードオフの両方でそれらを上回ることを実証します。
コードと追加の視覚化は、https：//unidisc.github.ioで入手できます。

要約(オリジナル)

Multimodal generative models that can understand and generate across multiple modalities are dominated by autoregressive (AR) approaches, which process tokens sequentially from left to right, or top to bottom. These models jointly handle images, text, video, and audio for various tasks such as image captioning, question answering, and image generation. In this work, we explore discrete diffusion models as a unified generative formulation in the joint text and image domain, building upon their recent success in text generation. Discrete diffusion models offer several advantages over AR models, including improved control over quality versus diversity of generated samples, the ability to perform joint multimodal inpainting (across both text and image domains), and greater controllability in generation through guidance. Leveraging these benefits, we present the first Unified Multimodal Discrete Diffusion (UniDisc) model which is capable of jointly understanding and generating text and images for a variety of downstream tasks. We compare UniDisc to multimodal AR models, performing a scaling analysis and demonstrating that UniDisc outperforms them in terms of both performance and inference-time compute, enhanced controllability, editability, inpainting, and flexible trade-off between inference time and generation quality. Code and additional visualizations are available at https://unidisc.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google