M2N2V2: Multi-Modal Unsupervised and Training-free Interactive Segmentation

要約

Markov Map Beost Neighbor（M2N2V2）を提示します。これは、監督なしでトレーニングのないポイントプロムベースベースのインタラクティブセグメンテーションのための深さガイダンスと注意マップを活用する斬新でシンプルで効果的なアプローチです。
監視されたマルチモーダルアプローチの最近の傾向に続いて、深さを追加のモダリティとして慎重に統合して、新しい深度誘導マルコフマップを作成します。
さらに、インタラクティブプロセス中にM2N2のセグメントサイズの変動が時々観察され、MIOU全体を減少させる可能性があります。
この問題を軽減するために、プロンプトを順次プロセスとしてモデル化し、不当なセグメントサイズの変更を防ぐために、以前のセグメンテーションと現在のプロンプトポイントを考慮する新しい適応スコア関数を提案します。
安定した拡散2と深さV2をバックボーンとして使用すると、提案されたM2N2V2が、医療ドメインを除くすべてのデータセットでM2N2と比較してクリック数（NOC）とMIOUの数を大幅に改善することを経験的に示します。
興味深いことに、私たちの監視されていないアプローチは、NOCメトリックのより挑戦的なDavisやHQSEG44KデータセットのSAMやSimpleClickなどの監視された方法と比較して、競争結果を達成し、監視されていない方法と監督なしの方法のギャップを減らします。

要約(オリジナル)

We present Markov Map Nearest Neighbor V2 (M2N2V2), a novel and simple, yet effective approach which leverages depth guidance and attention maps for unsupervised and training-free point-prompt-based interactive segmentation. Following recent trends in supervised multimodal approaches, we carefully integrate depth as an additional modality to create novel depth-guided Markov-maps. Furthermore, we observe occasional segment size fluctuations in M2N2 during the interactive process, which can decrease the overall mIoU’s. To mitigate this problem, we model the prompting as a sequential process and propose a novel adaptive score function which considers the previous segmentation and the current prompt point in order to prevent unreasonable segment size changes. Using Stable Diffusion 2 and Depth Anything V2 as backbones, we empirically show that our proposed M2N2V2 significantly improves the Number of Clicks (NoC) and mIoU compared to M2N2 in all datasets except those from the medical domain. Interestingly, our unsupervised approach achieves competitive results compared to supervised methods like SAM and SimpleClick in the more challenging DAVIS and HQSeg44K datasets in the NoC metric, reducing the gap between supervised and unsupervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google