S^4M: Boosting Semi-Supervised Instance Segmentation with SAM

要約

半監視インスタンスセグメンテーションは、ラベル付きデータが限られているために課題をもたらし、異なるオブジェクトインスタンスを正確にローカライズするのが難しくなります。
現在の教師と学生のフレームワークは、限られたラベルデータに由来する信頼できない擬似ラベル品質のため、依然としてパフォーマンスの制約に悩まされています。
セグメントでは、モデル（SAM）はさまざまな粒度で堅牢なセグメンテーション機能を提供しますが、このタスクにSAMを直接適用すると、クラスに依存しない予測や潜在的な過剰セグメンテーションなどの課題が導入されます。
これらの複雑さに対処するために、SAMを半監視されたインスタンスセグメンテーションフレームワークに慎重に統合し、セマンティック認識を損なうことなくSAMの正確なローカリゼーション機能を効果的にキャプチャする新しい蒸留方法を開発します。
さらに、私たちは擬似ラベルの洗練と、洗練された擬似適応範囲を使用した特殊なデータ増強を組み込み、優れた性能をもたらします。
最先端のパフォーマンスを確立し、提案されたアプローチの有効性を検証するために、包括的な実験とアブレーション研究を提供します。

要約(オリジナル)

Semi-supervised instance segmentation poses challenges due to limited labeled data, causing difficulties in accurately localizing distinct object instances. Current teacher-student frameworks still suffer from performance constraints due to unreliable pseudo-label quality stemming from limited labeled data. While the Segment Anything Model (SAM) offers robust segmentation capabilities at various granularities, directly applying SAM to this task introduces challenges such as class-agnostic predictions and potential over-segmentation. To address these complexities, we carefully integrate SAM into the semi-supervised instance segmentation framework, developing a novel distillation method that effectively captures the precise localization capabilities of SAM without compromising semantic recognition. Furthermore, we incorporate pseudo-label refinement as well as a specialized data augmentation with the refined pseudo-labels, resulting in superior performance. We establish state-of-the-art performance, and provide comprehensive experiments and ablation studies to validate the effectiveness of our proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google