SAMRefiner: Taming Segment Anything Model for Universal Mask Refinement

要約

この論文では、広く既存の粗いマスクの品質を向上させる主要な方法を探り、セグメンテーションモデルの信頼できるトレーニングデータとして、注釈コストを削減できるようにします。
特定のモデルまたはタスクに合わせて世界的な方法で調整された以前の改良技術とは対照的に、Samefinerをマスク改良タスクに適応させる普遍的で効率的なアプローチであるSamrefinerを提案します。
モデルのコアテクニックは、ノイズ耐性プロンプトスキームです。
具体的には、初期の粗いマスクからSAM（つまり、距離誘導ポイント、コンテキスト対応の弾性境界ボックス、ガウススタイルのマスク）の多様な入力プロンプトを採掘するためのマルチプロムプト掘削戦略を導入します。
これらのプロンプトは互いに協力して、粗いマスクの欠陥の効果を軽減できます。
特に、SAMがセマンティックセグメンテーションでマルチオブジェクトケースを処理するのが難しいことを考慮すると、スプリットツェンマージ（STM）パイプラインを導入します。
さらに、ターゲットデータセットでの汎用Samrefinerのパフォーマンスをさらに高めるために、追加のIOU適応ステップを導入することにより、Samrefiner ++にメソッドを拡張します。
このステップは自己促進されており、追加の注釈は必要ありません。
提案されたフレームワークは多用途であり、既存のセグメンテーション方法と柔軟に協力することができます。
さまざまな設定で幅広いベンチマークでマスクフレームワークを評価し、より良い精度と効率を示しています。
Samrefinerは、洗練ツールの進化を促進する重要な可能性を保持しています。
私たちのコードは、https：//github.com/linyq2117/samrefinerで入手できます。

要約(オリジナル)

In this paper, we explore a principal way to enhance the quality of widely pre-existing coarse masks, enabling them to serve as reliable training data for segmentation models to reduce the annotation cost. In contrast to prior refinement techniques that are tailored to specific models or tasks in a close-world manner, we propose SAMRefiner, a universal and efficient approach by adapting SAM to the mask refinement task. The core technique of our model is the noise-tolerant prompting scheme. Specifically, we introduce a multi-prompt excavation strategy to mine diverse input prompts for SAM (i.e., distance-guided points, context-aware elastic bounding boxes, and Gaussian-style masks) from initial coarse masks. These prompts can collaborate with each other to mitigate the effect of defects in coarse masks. In particular, considering the difficulty of SAM to handle the multi-object case in semantic segmentation, we introduce a split-then-merge (STM) pipeline. Additionally, we extend our method to SAMRefiner++ by introducing an additional IoU adaption step to further boost the performance of the generic SAMRefiner on the target dataset. This step is self-boosted and requires no additional annotation. The proposed framework is versatile and can flexibly cooperate with existing segmentation methods. We evaluate our mask framework on a wide range of benchmarks under different settings, demonstrating better accuracy and efficiency. SAMRefiner holds significant potential to expedite the evolution of refinement tools. Our code is available at https://github.com/linyq2117/SAMRefiner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google