Slender Object Scene Segmentation in Remote Sensing Image Based on Learnable Morphological Skeleton with Segment Anything Model

要約

形態学的手法は、小さな構造の詳細を捕捉して保存する能力があるため、リモート センシング画像処理において重要な役割を果たします。
ただし、セマンティック セグメンテーション用の既存の深層学習モデルのほとんどは、U-net やセグメント エニシング モデル (SAM) などのエンコーダ/デコーダ アーキテクチャに基づいており、ダウンサンプリング プロセスで細かい部分が破棄される傾向があります。
この論文では、変分法を使用して、学習可能な形態学的骨格を事前にディープニューラルネットワークに統合する新しいアプローチを提案します。
古典的な形態学的演算で生じる非微分可能性によって引き起こされるニューラルネットワークにおけるバックプロパゲーションの困難に対処するために、形態学的骨格の滑らかな表現を提供し、演算子分割と二重法を採用することによって事前に形態学的骨格を統合する変分セグメンテーションモデルを設計します。
次に、このモデルを SAM のネットワーク アーキテクチャに統合します。これは、マスク デコーダにトークンを追加し、最終的なシグモイド層を変更することで実現され、最終的なセグメンテーションの結果が可能な限りスケルトン構造を保持するようにします。
建物や道路を含むリモートセンシングデータセットの実験結果は、私たちの方法が細長いオブジェクトのセグメンテーションにおいて元のSAMを上回り、より優れた一般化能力を示すことを示しています。

要約(オリジナル)

Morphological methods play a crucial role in remote sensing image processing, due to their ability to capture and preserve small structural details. However, most of the existing deep learning models for semantic segmentation are based on the encoder-decoder architecture including U-net and Segment Anything Model (SAM), where the downsampling process tends to discard fine details. In this paper, we propose a new approach that integrates learnable morphological skeleton prior into deep neural networks using the variational method. To address the difficulty in backpropagation in neural networks caused by the non-differentiability presented in classical morphological operations, we provide a smooth representation of the morphological skeleton and design a variational segmentation model integrating morphological skeleton prior by employing operator splitting and dual methods. Then, we integrate this model into the network architecture of SAM, which is achieved by adding a token to mask decoder and modifying the final sigmoid layer, ensuring the final segmentation results preserve the skeleton structure as much as possible. Experimental results on remote sensing datasets, including buildings and roads, demonstrate that our method outperforms the original SAM on slender object segmentation and exhibits better generalization capability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google