RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model

要約

膨大なトレーニング データ (SA-1B) を活用することで、Meta AI Research が提案する基礎となるセグメント エニシング モデル (SAM) は、顕著な一般化とゼロショット機能を示します。
それにもかかわらず、SAM はカテゴリに依存しないインスタンスのセグメンテーション手法として、ポイント、ボックス、および粗粒マスクを含む事前の手動ガイダンスに大きく依存します。
さらに、リモート センシング画像セグメンテーション タスクにおけるそのパフォーマンスは、まだ十分に調査および実証されていません。
このペーパーでは、セマンティック カテゴリ情報を組み込んだ SAM 基盤モデルに基づいてリモート センシング画像に対する自動インスタンス セグメンテーション アプローチを設計することを検討します。
プロンプト学習に触発されて、SAM 入力に対する適切なプロンプトの生成を学習する方法を提案します。
これにより、SAM はリモート センシング画像に対して意味的に識別可能なセグメンテーション結果を生成できるようになり、これを RSPrompter と呼びます。
また、SAM コミュニティの最近の開発に基づいて、セグメンテーション タスクなどの進行中の派生プログラムをいくつか提案し、それらのパフォーマンスを RSPrompter と比較します。
WHU の建物、NWPU VHR-10、および SSDD データセットに関する広範な実験結果により、提案した方法の有効性が検証されています。
私たちのコードは \url{https://kyanchen.github.io/RSPrompter} からアクセスできます。

要約(オリジナル)

Leveraging vast training data (SA-1B), the foundation Segment Anything Model (SAM) proposed by Meta AI Research exhibits remarkable generalization and zero-shot capabilities. Nonetheless, as a category-agnostic instance segmentation method, SAM heavily depends on prior manual guidance involving points, boxes, and coarse-grained masks. Additionally, its performance on remote sensing image segmentation tasks has yet to be fully explored and demonstrated. In this paper, we consider designing an automated instance segmentation approach for remote sensing images based on the SAM foundation model, incorporating semantic category information. Inspired by prompt learning, we propose a method to learn the generation of appropriate prompts for SAM input. This enables SAM to produce semantically discernible segmentation results for remote sensing images, which we refer to as RSPrompter. We also suggest several ongoing derivatives for instance segmentation tasks, based on recent developments in the SAM community, and compare their performance with RSPrompter. Extensive experimental results on the WHU building, NWPU VHR-10, and SSDD datasets validate the efficacy of our proposed method. Our code is accessible at \url{https://kyanchen.github.io/RSPrompter}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google