Stochastic Conditional Diffusion Models for Semantic Image Synthesis

要約

意味画像合成 (SIS) は、意味マップ (ラベル) に対応するリアルな画像を生成するタスクです。
写真編集やコンテンツ作成など、現実世界のさまざまな業務に応用できます。
ただし、実際のアプリケーションでは、SIS はノイズの多いユーザー入力に遭遇することがよくあります。
これに対処するために、我々は確率的条件付き拡散モデル (SCDM) を提案します。これは、ノイズの多いラベルを持つ SIS に合わせた新しい順方向および生成プロセスを特徴とする堅牢な条件付き拡散モデルです。
離散拡散でラベルを拡散するラベル拡散を通じてセマンティック ラベル マップを確率的に摂動させることにより、ロバスト性が強化されます。
ラベルの拡散により、ノイズの多い意味マップとクリーンな意味マップはタイムステップが増加するにつれて類似し、最終的に $t=T$ で同一になります。
これにより、よりきれいな画像に近い画像を生成しやすくなり、堅牢な生成が可能となる。
さらに、クラスに応じてラベルを差動的に拡散するためのクラスごとのノイズ スケジュールを提案します。
提案された方法が、実際のアプリケーションにおける人為的エラーをシミュレートする新しい実験設定を含む、ベンチマーク データセットでの広範な実験と分析を通じて高品質のサンプルを生成することを実証します。

要約(オリジナル)

Semantic image synthesis (SIS) is a task to generate realistic images corresponding to semantic maps (labels). It can be applied to diverse real-world practices such as photo editing or content creation. However, in real-world applications, SIS often encounters noisy user inputs. To address this, we propose Stochastic Conditional Diffusion Model (SCDM), which is a robust conditional diffusion model that features novel forward and generation processes tailored for SIS with noisy labels. It enhances robustness by stochastically perturbing the semantic label maps through Label Diffusion, which diffuses the labels with discrete diffusion. Through the diffusion of labels, the noisy and clean semantic maps become similar as the timestep increases, eventually becoming identical at $t=T$. This facilitates the generation of an image close to a clean image, enabling robust generation. Furthermore, we propose a class-wise noise schedule to differentially diffuse the labels depending on the class. We demonstrate that the proposed method generates high-quality samples through extensive experiments and analyses on benchmark datasets, including a novel experimental setup simulating human errors during real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google