GraSS: Contrastive Learning with Gradient Guided Sampling Strategy for Remote Sensing Image Semantic Segmentation

要約

自己教師付き対比学習（SSCL）は、リモートセンシング画像（RSI）の理解において重要なマイルストーンを達成している。その本質は、ラベル付けされていない多数の画像から、下流のタスクに有益な画像特徴を抽出するために、教師なしインスタンス識別プリテキストタスクを設計することにある。しかし、既存のインスタンス判別に基づくSSCLは、RSI意味分割タスクに適用した場合、次の2つの限界に悩まされる：1) 正標本交絡問題、2) 特徴適応バイアス。ピクセルレベルまたはオブジェクトレベルの特徴量を必要とするセマンティックセグメンテーション課題に適用した場合、特徴適応バイアスが発生する。本研究では、教師なしコントラストロスの勾配を通して、識別情報がRSIの特定領域にマッピングされることを観測し、これらの特定領域は特異な地上オブジェクトを含む傾向があることを示した。これに基づき、我々はRSI意味分割のための勾配誘導サンプリング戦略(GraSS)を用いた対照学習を提案する。GraSSは2つの段階から構成される：インスタンス識別ウォームアップ(ID warm-up)と勾配付きサンプリング対照学習(Gradient guided Sampling contrastive training; GS training)である。IDウォームアップは、コントラスト損失勾配に初期識別情報を提供することを目的とする。GS訓練段階は、コントラスト損失勾配に含まれる識別情報を利用し、RSIパッチにおいて、より特異な地上オブジェクトを含む領域を適応的に選択し、新しい正と負のサンプルを構築することを目的とする。3つのオープンデータセットを用いた実験結果から、GraSSは高解像度RSI意味分割においてSSCLの性能を効果的に向上させることが実証された。5つの異なるタイプのSSCLからなる7つのベースライン手法と比較して、GraSSは平均1.57%、最大3.58%の改善を達成した。ソースコードは https://github.com/GeoX-Lab/GraSS にある。

要約(オリジナル)

Self-supervised contrastive learning (SSCL) has achieved significant milestones in remote sensing image (RSI) understanding. Its essence lies in designing an unsupervised instance discrimination pretext task to extract image features from a large number of unlabeled images that are beneficial for downstream tasks. However, existing instance discrimination based SSCL suffer from two limitations when applied to the RSI semantic segmentation task: 1) Positive sample confounding issue; 2) Feature adaptation bias. It introduces a feature adaptation bias when applied to semantic segmentation tasks that require pixel-level or object-level features. In this study, We observed that the discrimination information can be mapped to specific regions in RSI through the gradient of unsupervised contrastive loss, these specific regions tend to contain singular ground objects. Based on this, we propose contrastive learning with Gradient guided Sampling Strategy (GraSS) for RSI semantic segmentation. GraSS consists of two stages: Instance Discrimination warm-up (ID warm-up) and Gradient guided Sampling contrastive training (GS training). The ID warm-up aims to provide initial discrimination information to the contrastive loss gradients. The GS training stage aims to utilize the discrimination information contained in the contrastive loss gradients and adaptively select regions in RSI patches that contain more singular ground objects, in order to construct new positive and negative samples. Experimental results on three open datasets demonstrate that GraSS effectively enhances the performance of SSCL in high-resolution RSI semantic segmentation. Compared to seven baseline methods from five different types of SSCL, GraSS achieves an average improvement of 1.57\% and a maximum improvement of 3.58\% in terms of mean intersection over the union. The source code is available at https://github.com/GeoX-Lab/GraSS

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL