One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale

要約

この論文では、マルチモーダル データのセットに関連するすべての分布を 1 つのモデルに適合させるための統合拡散フレームワーク (UniDiffuser と呼ばれる) を提案します。
私たちの重要な洞察は、周辺分布、条件付き分布、結合分布の学習拡散モデルを、摂動レベル (つまり、タイムステップ) がモダリティごとに異なる場合がある摂動データのノイズの予測として統合できることです。
統一ビューに触発された UniDiffuser は、元の拡散モデルに最小限の変更を加えてすべての分布を同時に学習します。単一のモダリティではなくすべてのモダリティでデータを摂動し、異なるモダリティで個々のタイムステップを入力し、単一のモダリティではなくすべてのモダリティのノイズを予測します。
単一モダリティ。
UniDiffuser は、さまざまなモダリティの入力タイプを処理するために、拡散モデルのトランスフォーマーによってパラメータ化されます。
大規模な画像とテキストのペア データに実装された UniDiffuser は、追加のオーバーヘッドなしで適切なタイムステップを設定することで、画像、テキスト、テキストから画像、画像からテキスト、および画像からテキストのペアの生成を実行できます。
特に、UniDiffuser はすべてのタスクで知覚的に現実的なサンプルを生成でき、その定量的結果 (FID や CLIP スコアなど) は既存の汎用モデルよりも優れているだけでなく、特注モデル (安定拡散やクリップ スコアなど) にも匹敵します。
DALL-E 2) 代表的なタスク (テキストから画像への生成など)。

要約(オリジナル)

This paper proposes a unified diffusion framework (dubbed UniDiffuser) to fit all distributions relevant to a set of multi-modal data in one model. Our key insight is — learning diffusion models for marginal, conditional, and joint distributions can be unified as predicting the noise in the perturbed data, where the perturbation levels (i.e. timesteps) can be different for different modalities. Inspired by the unified view, UniDiffuser learns all distributions simultaneously with a minimal modification to the original diffusion model — perturbs data in all modalities instead of a single modality, inputs individual timesteps in different modalities, and predicts the noise of all modalities instead of a single modality. UniDiffuser is parameterized by a transformer for diffusion models to handle input types of different modalities. Implemented on large-scale paired image-text data, UniDiffuser is able to perform image, text, text-to-image, image-to-text, and image-text pair generation by setting proper timesteps without additional overhead. In particular, UniDiffuser is able to produce perceptually realistic samples in all tasks and its quantitative results (e.g., the FID and CLIP score) are not only superior to existing general-purpose models but also comparable to the bespoken models (e.g., Stable Diffusion and DALL-E 2) in representative tasks (e.g., text-to-image generation).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google