Stochastic Segmentation with Conditional Categorical Diffusion Models

要約

セマンティック セグメンテーションは、ディープ ニューラル ネットワークのおかげで近年大きな進歩を遂げていますが、画像の内容と正確に一致する単一のセグメンテーション出力を生成するという一般的な目的は、医療診断や自動運転などの安全性が重要な分野には適していない可能性があります。
代わりに、注釈マップの真の分布を反映するために、複数の正しいセグメンテーション マップが必要になる場合があります。
このコンテキストでは、確率論的セマンティック セグメンテーション法は、与えられた画像のラベルの条件付き分布を予測することを学習する必要がありますが、これは通常、マルチモーダル分布、高次元の出力空間、および限られた注釈データのために困難です。
これらの課題に対処するために、ノイズ除去拡散確率モデルに基づくセマンティック セグメンテーションの条件付きカテゴリ拡散モデル (CCDM) を提案します。
私たちのモデルは入力画像に合わせて調整されており、発散するグラウンド トゥルース アノテーションから生じる偶然の不確実性を説明する複数のセグメンテーション ラベル マップを生成できます。
実験結果は、CCDM が確率論的セマンティック セグメンテーション データセットである LIDC で最先端のパフォーマンスを達成し、従来のセグメンテーション データセット Cityscapes で確立されたベースラインよりも優れていることを示しています。

要約(オリジナル)

Semantic segmentation has made significant progress in recent years thanks to deep neural networks, but the common objective of generating a single segmentation output that accurately matches the image’s content may not be suitable for safety-critical domains such as medical diagnostics and autonomous driving. Instead, multiple possible correct segmentation maps may be required to reflect the true distribution of annotation maps. In this context, stochastic semantic segmentation methods must learn to predict conditional distributions of labels given the image, but this is challenging due to the typically multimodal distributions, high-dimensional output spaces, and limited annotation data. To address these challenges, we propose a conditional categorical diffusion model (CCDM) for semantic segmentation based on Denoising Diffusion Probabilistic Models. Our model is conditioned to the input image, enabling it to generate multiple segmentation label maps that account for the aleatoric uncertainty arising from divergent ground truth annotations. Our experimental results show that CCDM achieves state-of-the-art performance on LIDC, a stochastic semantic segmentation dataset, and outperforms established baselines on the classical segmentation dataset Cityscapes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google