A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting

要約

パノプティック ネットワークとインスタンス セグメンテーション ネットワークは、多くの場合、インスタンス マスクの順列不変性を管理するために、特殊なオブジェクト検出モジュール、複雑な損失関数、およびアドホックな後処理ステップを使用してトレーニングされます。
この研究は安定拡散に基づいて構築されており、パノプティック セグメンテーションのための潜在拡散アプローチを提案しており、その結果、これらの複雑さを省略したシンプルなアーキテクチャが実現します。
私たちのトレーニングは 2 つのステップで構成されます。(1) セグメンテーション マスクを潜在空間に投影するために浅いオートエンコーダーをトレーニングします。
（２）潜在空間における画像条件付きサンプリングを可能にするために拡散モデルをトレーニングする。
この生成的なアプローチにより、マスクの完成または修復の探索が可能になります。
COCO と ADE20k の実験的検証により、強力なセグメンテーション結果が得られました。
最後に、学習可能なタスク埋め込みを導入することで、モデルのマルチタスクへの適応性を実証します。

要約(オリジナル)

Panoptic and instance segmentation networks are often trained with specialized object detection modules, complex loss functions, and ad-hoc post-processing steps to manage the permutation-invariance of the instance masks. This work builds upon Stable Diffusion and proposes a latent diffusion approach for panoptic segmentation, resulting in a simple architecture that omits these complexities. Our training consists of two steps: (1) training a shallow autoencoder to project the segmentation masks to latent space; (2) training a diffusion model to allow image-conditioned sampling in latent space. This generative approach unlocks the exploration of mask completion or inpainting. The experimental validation on COCO and ADE20k yields strong segmentation results. Finally, we demonstrate our model’s adaptability to multi-tasking by introducing learnable task embeddings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google