SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object and Boundary Constraints

要約

リモート センシング画像のセマンティック セグメンテーションは、さまざまな下流アプリケーションの正確な情報を抽出する上で極めて重要な役割を果たします。
先進的な汎用セグメンテーション モデルであるセグメント エニシング モデル (SAM) の最近の開発は、この分野に革命をもたらし、正確かつ効率的なセグメンテーションのための新しい道を提示しました。
ただし、SAM はクラス情報なしでセグメンテーション結果を生成することに限定されています。
その結果、リモート センシング画像のセマンティック セグメンテーションにこのような強力な一般視覚モデルを利用することが研究の焦点となっています。
このペーパーでは、SAM 生成オブジェクト (SGO) と SAM 生成境界 (SGB) と呼ばれる 2 つの新しい概念を活用することで、SAM の生の出力を活用することを目的とした合理化されたフレームワークを紹介します。
より具体的には、新しいオブジェクト損失を提案し、さらに一般的なセマンティック セグメンテーション フレームワークでのモデルの最適化を支援する拡張コンポーネントとして境界損失を導入します。
SGO のコンテンツ特性を考慮して、セマンティック情報が不足しているセグメント化された領域を活用するために、オブジェクトの一貫性の概念を導入します。
オブジェクト損失は、オブジェクト内の予測値の一貫性に制約を課すことにより、セマンティック セグメンテーションのパフォーマンスを向上させることを目的としています。
さらに、境界損失は、モデルの注意をオブジェクトの境界情報に向けることによって、SGB の特有の機能を利用します。
ISPRS Vaihingen と LoveDA Urban という 2 つのよく知られたデータセットに関する実験結果は、私たちが提案した方法の有効性を示しています。
この作品のソース コードは https://github.com/sstary/SSRS からアクセスできます。

要約(オリジナル)

Semantic segmentation of remote sensing imagery plays a pivotal role in extracting precise information for diverse down-stream applications. Recent development of the Segment Anything Model (SAM), an advanced general-purpose segmentation model, has revolutionized this field, presenting new avenues for accurate and efficient segmentation. However, SAM is limited to generating segmentation results without class information. Consequently, the utilization of such a powerful general vision model for semantic segmentation in remote sensing images has become a focal point of research. In this paper, we present a streamlined framework aimed at leveraging the raw output of SAM by exploiting two novel concepts called SAM-Generated Object (SGO) and SAM-Generated Boundary (SGB). More specifically, we propose a novel object loss and further introduce a boundary loss as augmentative components to aid in model optimization in a general semantic segmentation framework. Taking into account the content characteristics of SGO, we introduce the concept of object consistency to leverage segmented regions lacking semantic information. By imposing constraints on the consistency of predicted values within objects, the object loss aims to enhance semantic segmentation performance. Furthermore, the boundary loss capitalizes on the distinctive features of SGB by directing the model’s attention to the boundary information of the object. Experimental results on two well-known datasets, namely ISPRS Vaihingen and LoveDA Urban, demonstrate the effectiveness of our proposed method. The source code for this work will be accessible at https://github.com/sstary/SSRS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google