MosaicFusion: Diffusion Models as Data Augmenters for Large Vocabulary Instance Segmentation

要約

私たちは、大規模な語彙インスタンスのセグメンテーションのための、シンプルかつ効果的な拡散ベースのデータ拡張アプローチである MosaicFusion を紹介します。
私たちのメソッドはトレーニング不要で、ラベルの監督に依存しません。
2 つの主要な設計により、既製のテキストから画像への拡散モデルを、オブジェクト インスタンスやマスク アノテーション用の有用なデータセット ジェネレーターとして使用できるようになります。
まず、画像キャンバスをいくつかの領域に分割し、異なるテキスト プロンプトに応じて複数のインスタンスを同時に生成するために 1 ラウンドの拡散プロセスを実行します。
次に、レイヤーおよび拡散時間ステップにわたるオブジェクト プロンプトに関連付けられたクロス アテンション マップを集約し、その後、単純なしきい値処理とエッジを意識したリファインメント処理を行うことによって、対応するインスタンス マスクを取得します。
追加機能なしで、MosaicFusion は、希少なカテゴリと新しいカテゴリの両方について、大量の合成ラベル付きデータを生成できます。
挑戦的な LVIS ロングテールおよびオープンボキャブラリーのベンチマークに関する実験結果は、MosaicFusion が既存のインスタンス セグメンテーション モデル、特に希少なカテゴリや新しいカテゴリのパフォーマンスを大幅に向上できることを示しています。
コードは https://github.com/Jiahao000/MosaicFusion で公開されます。

要約(オリジナル)

We present MosaicFusion, a simple yet effective diffusion-based data augmentation approach for large vocabulary instance segmentation. Our method is training-free and does not rely on any label supervision. Two key designs enable us to employ an off-the-shelf text-to-image diffusion model as a useful dataset generator for object instances and mask annotations. First, we divide an image canvas into several regions and perform a single round of diffusion process to generate multiple instances simultaneously, conditioning on different text prompts. Second, we obtain corresponding instance masks by aggregating cross-attention maps associated with object prompts across layers and diffusion time steps, followed by simple thresholding and edge-aware refinement processing. Without bells and whistles, our MosaicFusion can produce a significant amount of synthetic labeled data for both rare and novel categories. Experimental results on the challenging LVIS long-tailed and open-vocabulary benchmarks demonstrate that MosaicFusion can significantly improve the performance of existing instance segmentation models, especially for rare and novel categories. Code will be released at https://github.com/Jiahao000/MosaicFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google