Stochastic Conditional Diffusion Models for Robust Semantic Image Synthesis

要約

意味画像合成(SIS)は、意味マップ(ラベル)に対応する現実的な画像を生成するタスクである。しかし、実際のアプリケーションでは、SISはしばしばノイズの多いユーザ入力に遭遇する。この問題に対処するために、我々は確率的条件拡散モデル（SCDM）を提案する。これは、ノイズの多いラベルを持つSIS用に調整された、新しい前進過程と生成過程を特徴とするロバストな条件拡散モデルである。SCDMは、ラベルを離散拡散させるラベル拡散を通して、意味ラベルマップを確率的に摂動させることで、頑健性を向上させる。ラベルの拡散により、ノイズのある意味マップとクリーンな意味マップはタイムステップが増加するにつれて類似し、最終的に$t=T$で同一になる。これにより、きれいな画像に近い画像が生成されやすくなり、ロバストな生成が可能となる。さらに、クラスに応じてラベルを拡散させるクラス毎のノイズスケジュールを提案する。我々は、ベンチマークデータセットを用いた広範な実験と分析を通じて、提案手法が高品質なサンプルを生成することを実証する。コードはhttps://github.com/mlvlab/SCDM。

要約(オリジナル)

Semantic image synthesis (SIS) is a task to generate realistic images corresponding to semantic maps (labels). However, in real-world applications, SIS often encounters noisy user inputs. To address this, we propose Stochastic Conditional Diffusion Model (SCDM), which is a robust conditional diffusion model that features novel forward and generation processes tailored for SIS with noisy labels. It enhances robustness by stochastically perturbing the semantic label maps through Label Diffusion, which diffuses the labels with discrete diffusion. Through the diffusion of labels, the noisy and clean semantic maps become similar as the timestep increases, eventually becoming identical at $t=T$. This facilitates the generation of an image close to a clean image, enabling robust generation. Furthermore, we propose a class-wise noise schedule to differentially diffuse the labels depending on the class. We demonstrate that the proposed method generates high-quality samples through extensive experiments and analyses on benchmark datasets, including a novel experimental setup simulating human errors during real-world applications. Code is available at https://github.com/mlvlab/SCDM.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL