A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting

要約

パノプティック ネットワークとインスタンス セグメンテーション ネットワークは、多くの場合、インスタンス マスクの順列不変性を処理するために、特殊なオブジェクト検出モジュール、複雑な損失関数、およびアドホックな後処理ステップを使用してトレーニングされます。
この研究は安定拡散に基づいて構築されており、パノプティック セグメンテーションのための潜在拡散アプローチを提案しており、その結果、これらの複雑さを省略したシンプルなアーキテクチャが実現します。
私たちのトレーニング プロセスは 2 つのステップで構成されます。(1) セグメンテーション マスクを潜在空間に投影するために浅いオートエンコーダーをトレーニングします。
（２）潜在空間における画像条件付きサンプリングを可能にするために拡散モデルをトレーニングする。
生成モデルを使用すると、マスクの完成または修復の探索が可能になり、対話型セグメンテーションに応用できます。
実験的な検証により、パノプティック セグメンテーションとマスク修復の両方について有望な結果が得られました。
新しい最先端を確立するわけではありませんが、私たちのモデルの単純さ、汎用性、およびマスク補完機能は望ましい特性です。

要約(オリジナル)

Panoptic and instance segmentation networks are often trained with specialized object detection modules, complex loss functions, and ad-hoc post-processing steps to handle the permutation-invariance of the instance masks. This work builds upon Stable Diffusion and proposes a latent diffusion approach for panoptic segmentation, resulting in a simple architecture which omits these complexities. Our training process consists of two steps: (1) training a shallow autoencoder to project the segmentation masks to latent space; (2) training a diffusion model to allow image-conditioned sampling in latent space. The use of a generative model unlocks the exploration of mask completion or inpainting, which has applications in interactive segmentation. The experimental validation yields promising results for both panoptic segmentation and mask inpainting. While not setting a new state-of-the-art, our model’s simplicity, generality, and mask completion capability are desirable properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google