Assessing Foundation Models for Sea Ice Type Segmentation in Sentinel-1 SAR Imagery

要約

海氷の種類の正確なセグメンテーションは、氷で覆われた水域での安全な航海と資源抽出、および極地気候プロセスを理解するための海氷条件のマッピングと運用予測に不可欠です。
深い学習方法は、海氷のセグメンテーションを自動化する際に有望であることを示していますが、多くの場合、専門知識を必要とし、作成するのに時間がかかる広範なラベル付きデータセットに依存しています。
最近、Foundation Models（FMS）は、自己監視技術を使用して大規模なデータセットでトレーニング前に使用することにより、リモートセンシング画像をセグメント化するための優れた結果を示しています。
ただし、特に海氷の複雑な構造、季節の変化、ユニークなスペクトル署名、および井戸の合成開口レーダー（SAR）画像特性を含む、バンディングやスカラッピングノイズを含む特異な合成開口レーダー（SAR）の画像特性を考慮して、海氷のセグメンテーションに対するそれらの有効性は未開拓のままです。
特に、極地のSAR画像は、FMSのトレーニングデータセットを形成する同じセンサーによって低緯度の画像をキャプチャするために使用されるものとは異なるモードを使用して取得されます。
この研究では、Sentinel-1 SAR画像を使用した海氷タイプのセグメンテーション用の10のリモートセンシングFMSを評価し、季節的および空間的一般化に焦点を当てています。
選択したモデルの中で、PRITHVI-600Mはベースラインモデルよりも優れていますが、CROMAはF1スコアで非常に類似したパフォーマンスを達成しています。
私たちの貢献には、海氷データ分析のためのFMSを選択するための体系的な方法論、カスタマイズされたパフォーマンスメトリックを備えた海氷セグメンテーションのFMSのパフォーマンスに関する包括的なベンチマーク研究、SARデータを使用した極地アプリケーションのドメイン固有のモデルを改善するための既存のギャップと将来の方向性に関する洞察が含まれます。

要約(オリジナル)

Accurate segmentation of sea ice types is essential for mapping and operational forecasting of sea ice conditions for safe navigation and resource extraction in ice-covered waters, as well as for understanding polar climate processes. While deep learning methods have shown promise in automating sea ice segmentation, they often rely on extensive labeled datasets which require expert knowledge and are time-consuming to create. Recently, foundation models (FMs) have shown excellent results for segmenting remote sensing images by utilizing pre-training on large datasets using self-supervised techniques. However, their effectiveness for sea ice segmentation remains unexplored, especially given sea ice’s complex structures, seasonal changes, and unique spectral signatures, as well as peculiar Synthetic Aperture Radar (SAR) imagery characteristics including banding and scalloping noise, and varying ice backscatter characteristics, which are often missing in standard remote sensing pre-training datasets. In particular, SAR images over polar regions are acquired using different modes than used to capture the images at lower latitudes by the same sensors that form training datasets for FMs. This study evaluates ten remote sensing FMs for sea ice type segmentation using Sentinel-1 SAR imagery, focusing on their seasonal and spatial generalization. Among the selected models, Prithvi-600M outperforms the baseline models, while CROMA achieves a very similar performance in F1-score. Our contributions include offering a systematic methodology for selecting FMs for sea ice data analysis, a comprehensive benchmarking study on performances of FMs for sea ice segmentation with tailored performance metrics, and insights into existing gaps and future directions for improving domain-specific models in polar applications using SAR data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google