Segment Concealed Objects with Incomplete Supervision

要約

不完全に監視されている隠されたオブジェクトセグメンテーション（ISCOS）には、モデルトレーニングのために、弱い環境や半注釈などの不完全な注釈付きデータを使用して、周囲の環境にシームレスに融合するオブジェクトのセグメント化が含まれます。
このタスクは、（1）不完全に注釈されたトレーニングデータによって提供される限られた監督、および（2）隠されたシナリオの本質的な類似性から生じる背景から隠されたオブジェクトを区別することの難しさにより、非常に困難なままです。
この論文では、これらの課題に対処するためのISCOSの最初の統一方法を紹介します。
不完全な監督の問題に取り組むために、統一された意味の融資型フレームワークを提案します。ビジョンファンデーションモデルをレバレッジしている「\ empond（SAM）}」をレバレッジして、教師モデルによってプロンプトとして生成された粗いマスクを使用して擬似ラベルを生成します。
低品質のセグメンテーションマスクの効果を緩和するために、擬似ラベルの生成、貯蔵、監督のための一連の戦略を紹介します。
これらの戦略は、有益な疑似ラベルを生産し、生成された最高の擬似ラベルを保存し、学生モデルを導くための最も信頼できるコンポーネントを選択して、堅牢なネットワークトレーニングを確保することを目的としています。
さらに、本質的な類似性の問題に取り組むために、さまざまな粒度でグループを特徴とし、これらの結果を集計するハイブリッド粒度機能グループモジュールを設計します。
同様の機能をクラスタリングすることにより、このモジュールはセグメンテーションコヒーレンスを促進し、単一オブジェクトと複数のオブジェクト画像の両方のより完全なセグメンテーションを促進します。
複数のISCOSタスクにわたるアプローチの有効性を検証し、実験結果は、この方法が最新のパフォーマンスを達成することを示しています。
さらに、SEEはプラグアンドプレイソリューションとして機能し、既存のモデルのパフォーマンスを向上させます。

要約(オリジナル)

Incompletely-Supervised Concealed Object Segmentation (ISCOS) involves segmenting objects that seamlessly blend into their surrounding environments, utilizing incompletely annotated data, such as weak and semi-annotations, for model training. This task remains highly challenging due to (1) the limited supervision provided by the incompletely annotated training data, and (2) the difficulty of distinguishing concealed objects from the background, which arises from the intrinsic similarities in concealed scenarios. In this paper, we introduce the first unified method for ISCOS to address these challenges. To tackle the issue of incomplete supervision, we propose a unified mean-teacher framework, SEE, that leverages the vision foundation model, “\emph{Segment Anything Model (SAM)}”, to generate pseudo-labels using coarse masks produced by the teacher model as prompts. To mitigate the effect of low-quality segmentation masks, we introduce a series of strategies for pseudo-label generation, storage, and supervision. These strategies aim to produce informative pseudo-labels, store the best pseudo-labels generated, and select the most reliable components to guide the student model, thereby ensuring robust network training. Additionally, to tackle the issue of intrinsic similarity, we design a hybrid-granularity feature grouping module that groups features at different granularities and aggregates these results. By clustering similar features, this module promotes segmentation coherence, facilitating more complete segmentation for both single-object and multiple-object images. We validate the effectiveness of our approach across multiple ISCOS tasks, and experimental results demonstrate that our method achieves state-of-the-art performance. Furthermore, SEE can serve as a plug-and-play solution, enhancing the performance of existing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google