DiffuMask: Synthesizing Images with Pixel-level Annotations for Semantic Segmentation Using Diffusion Models

要約

画像を収集してピクセル単位のラベルを付けて注釈を付けるには、時間と労力がかかります。
対照的に、合成データは生成モデル (DALL-E、安定拡散など) を使用して自由に利用できます。
この論文では、トレーニング中にテキストと画像のペアのみを使用する既製の安定拡散モデルによって生成された合成画像の正確なセマンティック マスクを自動的に取得できることを示します。
DiffuMask と呼ばれる私たちのアプローチは、テキストと画像の間のクロスアテンション マップの可能性を活用します。これは自然でシームレスで、テキスト駆動の画像合成をセマンティック マスク生成に拡張します。
DiffuMask は、テキストガイドによるクロスアテンション情報を使用して、クラス/単語固有の領域を特定します。これを実用的な技術と組み合わせて、新しい高解像度でクラスを識別するピクセル単位のマスクを作成します。
この方法は、明らかにデータ収集とアノテーションのコストを削減するのに役立ちます。
実験では、DiffuMask の合成データでトレーニングされた既存のセグメンテーション手法が、実際のデータに匹敵するパフォーマンスを達成できることが実証されています (VOC 2012、Cityscapes)。
一部のクラス (鳥など) では、DiffuMask は、実際のデータの最先端の結果 (mIoU ギャップ 3% 以内) に近い、有望なパフォーマンスを示します。
さらに、オープン語彙セグメンテーション (ゼロショット) 設定では、DiffuMask は VOC 2012 の Unseen クラスで新しい SOTA 結果を達成しました。プロジェクトの Web サイトは https://weijiawu.github.io/DiffusionMask/ にあります。

要約(オリジナル)

Collecting and annotating images with pixel-wise labels is time-consuming and laborious. In contrast, synthetic data can be freely available using a generative model (e.g., DALL-E, Stable Diffusion). In this paper, we show that it is possible to automatically obtain accurate semantic masks of synthetic images generated by the Off-the-shelf Stable Diffusion model, which uses only text-image pairs during training. Our approach, called DiffuMask, exploits the potential of the cross-attention map between text and image, which is natural and seamless to extend the text-driven image synthesis to semantic mask generation. DiffuMask uses text-guided cross-attention information to localize class/word-specific regions, which are combined with practical techniques to create a novel high-resolution and class-discriminative pixel-wise mask. The methods help to reduce data collection and annotation costs obviously. Experiments demonstrate that the existing segmentation methods trained on synthetic data of DiffuMask can achieve a competitive performance over the counterpart of real data (VOC 2012, Cityscapes). For some classes (e.g., bird), DiffuMask presents promising performance, close to the stateof-the-art result of real data (within 3% mIoU gap). Moreover, in the open-vocabulary segmentation (zero-shot) setting, DiffuMask achieves a new SOTA result on Unseen class of VOC 2012. The project website can be found at https://weijiawu.github.io/DiffusionMask/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google