Denoising Diffusion Semantic Segmentation with Mask Prior Modeling

要約

セマンティックセグメンテーションの進化は、各ピクセルを分類するための、より識別性の高い画像表現の学習が長い間主流であった。しかし、セグメンテーションマスクの幾何学的制約や意味的制約など、セグメンテーションマスクのプリオールについては、まだ十分に研究されていない。本論文では、最近開発されたノイズ除去拡散生成モデルによってモデル化されたマスク事前分布を用いることで、既存の識別的アプローチのセマンティックセグメンテーション品質を向上させることを提案する。拡散モデルをマスク前モデルに適応させる統一的なアーキテクチャから始め、離散拡散を用いた特定のインスタンスに焦点を当て、その適用を成功させるための様々な重要な設計選択を明らかにする。(1)セマンティックセグメンテーションに拡散モデルを単純に統合するだけでは十分ではなく、設計の悪い拡散プロセスはセグメンテーション性能の低下につながる可能性がある。(2)トレーニング中は、ノイズの種類よりもノイズを加える対象が重要である。ADE20KとCityscapesを用いた実験により、提案する事前モデリングが、競争力のある定量的な性能と、より魅力的な視覚的品質を達成できることを実証することができた。

要約(オリジナル)

The evolution of semantic segmentation has long been dominated by learning more discriminative image representations for classifying each pixel. Despite the prominent advancements, the priors of segmentation masks themselves, e.g., geometric and semantic constraints, are still under-explored. In this paper, we propose to ameliorate the semantic segmentation quality of existing discriminative approaches with a mask prior modeled by a recently-developed denoising diffusion generative model. Beginning with a unified architecture that adapts diffusion models for mask prior modeling, we focus this work on a specific instantiation with discrete diffusion and identify a variety of key design choices for its successful application. Our exploratory analysis revealed several important findings, including: (1) a simple integration of diffusion models into semantic segmentation is not sufficient, and a poorly-designed diffusion process might lead to degradation in segmentation performance; (2) during the training, the object to which noise is added is more important than the type of noise; (3) during the inference, the strict diffusion denoising scheme may not be essential and can be relaxed to a simpler scheme that even works better. We evaluate the proposed prior modeling with several off-the-shelf segmentors, and our experimental results on ADE20K and Cityscapes demonstrate that our approach could achieve competitively quantitative performance and more appealing visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL