SegEarth-OV: Towards Traning-Free Open-Vocabulary Segmentation for Remote Sensing Images

要約

リモートセンシング画像は、農業、水資源、軍事、災害救援などの分野で、かけがえのない役割を果たしています。
ピクセルレベルの解釈は、リモートセンシング画像アプリケーションの重要な側面です。
ただし、広範な手動注釈が必要であるという一般的な制限が依然として残っています。
このために、オープン語彙セマンティック セグメンテーション (OVSS) をリモート センシング コンテキストに導入しようとします。
ただし、リモート センシング画像は低解像度の特徴に敏感であるため、歪んだターゲット形状や不適切な境界が予測マスクに表示されます。
この問題に取り組むために、私たちはトレーニング不要のスタイルで深い特徴で失われた空間情報を復元するための、シンプルで汎用的なアップサンプラー SimFeatUp を提案します。
さらに、CLIP の [CLS] トークンに対するローカル パッチ トークンの異常な応答の観察に基づいて、パッチ トークンのグローバル バイアスを軽減するために単純な減算演算を実行することを提案します。
セマンティック セグメンテーション、建物抽出、道路検出、洪水検出タスクにわたる 17 のリモート センシング データセットに対して広範な実験が行われています。
私たちの方法は、4 つのタスクで最先端の方法と比較して平均 5.8%、8.2%、4%、15.3% の改善を達成しました。
すべてのコードが解放されます。
\url{https://earth-insights.github.io/SegEarth-OV}

要約(オリジナル)

Remote sensing image plays an irreplaceable role in fields such as agriculture, water resources, military, and disaster relief. Pixel-level interpretation is a critical aspect of remote sensing image applications; however, a prevalent limitation remains the need for extensive manual annotation. For this, we try to introduce open-vocabulary semantic segmentation (OVSS) into the remote sensing context. However, due to the sensitivity of remote sensing images to low-resolution features, distorted target shapes and ill-fitting boundaries are exhibited in the prediction mask. To tackle this issue, we propose a simple and general upsampler, SimFeatUp, to restore lost spatial information in deep features in a training-free style. Further, based on the observation of the abnormal response of local patch tokens to [CLS] token in CLIP, we propose to execute a straightforward subtraction operation to alleviate the global bias in patch tokens. Extensive experiments are conducted on 17 remote sensing datasets spanning semantic segmentation, building extraction, road detection, and flood detection tasks. Our method achieves an average of 5.8%, 8.2%, 4%, and 15.3% improvement over state-of-the-art methods on 4 tasks. All codes are released. \url{https://earth-insights.github.io/SegEarth-OV}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google