Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces

要約

拡散モデルは、画像、ビデオ、テキスト生成など、さまざまなタスクで単峰性データを生成する際に顕著なパフォーマンスを実証しています。
それどころか、拡散モデルを介したマルチモーダルデータの共同生成は、まだ探査の初期段階にあります。
既存のアプローチは、トークンザーや変分自動エンコーダーなどの外部前処理プロトコルに大きく依存して、さまざまなデータ表現を統一された単型形式に調和させます。
このプロセスには、エンコーダーとデコーダーの高精度が非常に必要であり、データが限られているアプリケーションでは問題がある場合があります。
この制限を解除するために、任意の状態空間にマルチモーダル拡散モデルを構築するための新しいフレームワークを提案し、異なるモダリティにわたってネイティブ生成の結合データを可能にします。
モダリティごとに革新的な分離ノイズスケジュールを導入することにより、単一モデル内で同時に無条件とモダリティの条件付き生成の両方を有効にします。
テキストイメージの生成と混合型の表形式データ合成に対するアプローチを経験的に検証し、競争力のあるパフォーマンスを達成することを示しています。

要約(オリジナル)

Diffusion models have demonstrated remarkable performance in generating unimodal data across various tasks, including image, video, and text generation. On the contrary, the joint generation of multimodal data through diffusion models is still in the early stages of exploration. Existing approaches heavily rely on external preprocessing protocols, such as tokenizers and variational autoencoders, to harmonize varied data representations into a unified, unimodal format. This process heavily demands the high accuracy of encoders and decoders, which can be problematic for applications with limited data. To lift this restriction, we propose a novel framework for building multimodal diffusion models on arbitrary state spaces, enabling native generation of coupled data across different modalities. By introducing an innovative decoupled noise schedule for each modality, we enable both unconditional and modality-conditioned generation within a single model simultaneously. We empirically validate our approach for text-image generation and mixed-type tabular data synthesis, demonstrating that it achieves competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google