DiffusionInst: Diffusion Model for Instance Segmentation

要約

最近、拡散フレームワークは、以前の最先端の画像生成モデルと同等のパフォーマンスを達成しました。
研究者は、その強力なノイズから画像へのノイズ除去パイプラインにより、識別タスクにおけるその亜種に興味を持っています。
このホワイト ペーパーでは、DiffusionInst を提案します。これは、インスタンスをインスタンス対応フィルターとして表し、インスタンス セグメンテーションをノイズからフィルターへのノイズ除去プロセスとして定式化する新しいフレームワークです。
モデルは、RPN からの誘導バイアスなしで、ノイズの多いグラウンド トゥルースを反転するようにトレーニングされます。
推論中、ランダムに生成されたフィルターを入力として取り、1 ステップまたはマルチステップのノイズ除去でマスクを出力します。
COCO および LVIS に関する広範な実験結果は、DiffusionInst が既存のインスタンス セグメンテーション モデルと比較して競争力のあるパフォーマンスを達成することを示しています。
私たちの研究がシンプルでありながら効果的なベースラインとして機能し、困難な識別タスクのためのより効率的な拡散フレームワークの設計を刺激できることを願っています.
コードは https://github.com/chenhaoxing/DiffusionInst で入手できます。

要約(オリジナル)

Recently, diffusion frameworks have achieved comparable performance with previous state-of-the-art image generation models. Researchers are curious about its variants in discriminative tasks because of its powerful noise-to-image denoising pipeline. This paper proposes DiffusionInst, a novel framework that represents instances as instance-aware filters and formulates instance segmentation as a noise-to-filter denoising process. The model is trained to reverse the noisy groundtruth without any inductive bias from RPN. During inference, it takes a randomly generated filter as input and outputs mask in one-step or multi-step denoising. Extensive experimental results on COCO and LVIS show that DiffusionInst achieves competitive performance compared to existing instance segmentation models. We hope our work could serve as a simple yet effective baseline, which could inspire designing more efficient diffusion frameworks for challenging discriminative tasks. Our code is available in https://github.com/chenhaoxing/DiffusionInst.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google