DICE: Discrete Inversion Enabling Controllable Editing for Multinomial Diffusion and Masked Generative Models

要約

離散拡散モデルは、画像生成やマスクされた言語モデリングなどのタスクで成功を収めていますが、制御されたコンテンツ編集では直面しています。
マルチノーム拡散やマスク生成モデルを含む離散拡散モデルの正確な反転を可能にする最初のアプローチであるダイス（制御可能な編集のための離散反転）を紹介します。
逆拡散プロセス中にノイズシーケンスとマスキングパターンを記録することにより、DICEは、事前定義されたマスクや注意操作を必要とせずに、離散データの正確な再構築と柔軟な編集を可能にします。
画像ドメインとテキストドメインの両方でサイコロの有効性を実証し、VQ-Diffusion、Paella、Robertaなどのモデルで評価します。
私たちの結果は、サイコロが編集機能を強化しながら高いデータの忠実度を維持し、離散空間でのきめの細かいコンテンツ操作の新しい機会を提供することを示しています。

要約(オリジナル)

Discrete diffusion models have achieved success in tasks like image generation and masked language modeling but face limitations in controlled content editing. We introduce DICE (Discrete Inversion for Controllable Editing), the first approach to enable precise inversion for discrete diffusion models, including multinomial diffusion and masked generative models. By recording noise sequences and masking patterns during the reverse diffusion process, DICE enables accurate reconstruction and flexible editing of discrete data without the need for predefined masks or attention manipulation. We demonstrate the effectiveness of DICE across both image and text domains, evaluating it on models such as VQ-Diffusion, Paella, and RoBERTa. Our results show that DICE preserves high data fidelity while enhancing editing capabilities, offering new opportunities for fine-grained content manipulation in discrete spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google