Learning a Joint Embedding of Multiple Satellite Sensors: A Case Study for Lake Ice Monitoring

要約

異なるセンサーで取得した衛星画像を融合することは、特に光学画像や合成開口レーダー (SAR) 画像などのさまざまなモダリティにわたって、地球観測の長年の課題でした。
ここでは、表現学習の観点から、さまざまなセンサーからの画像の共同分析を検討します。ディープ ニューラル ネットワーク内の複数の衛星センサーの共同埋め込みを学習することを提案します。
私たちのアプリケーションの問題は、アルプスの湖の湖氷の監視です。
Swiss Global Climate Observing System (GCOS) オフィスの時間分解能要件を満たすために、Sentinel-1 SAR (S1-SAR)、Terra MODIS、および Suomi-NPP VIIRS の 3 つの画像ソースを組み合わせます。
光学ドメインと SAR ドメインの間、およびセンサー解像度の間に大きなギャップがあるため、これはセンサー フュージョンの問題の難しい例です。
私たちのアプローチは、データ駆動型の方法で学習される後期融合として分類できます。
提案されたネットワーク アーキテクチャには、イメージ センサーごとに個別のエンコード ブランチがあり、単一の潜在的な埋め込みにフィードされます。
つまり、すべての入力で共有される共通の特徴表現であり、使用された入力画像の種類に関係なく、後続の処理ステップで同等の出力が提供されます。
衛星データを融合することにより、1.5 日未満の時間分解能で湖の氷をマッピングします。
このネットワークは、ピクセル単位の精度が 91% を超える (それぞれ、mIoU スコアが 60% を超える) 空間的に明示的な湖氷マップを生成し、さまざまな湖や冬にわたって一般化されます。
さらに、多くの場合、GCOS の要件を満たし、対象湖の重要な着氷日と解氷日を決定するための新しい最先端技術を設定します。

要約(オリジナル)

Fusing satellite imagery acquired with different sensors has been a long-standing challenge of Earth observation, particularly across different modalities such as optical and Synthetic Aperture Radar (SAR) images. Here, we explore the joint analysis of imagery from different sensors in the light of representation learning: we propose to learn a joint embedding of multiple satellite sensors within a deep neural network. Our application problem is the monitoring of lake ice on Alpine lakes. To reach the temporal resolution requirement of the Swiss Global Climate Observing System (GCOS) office, we combine three image sources: Sentinel-1 SAR (S1-SAR), Terra MODIS, and Suomi-NPP VIIRS. The large gaps between the optical and SAR domains and between the sensor resolutions make this a challenging instance of the sensor fusion problem. Our approach can be classified as a late fusion that is learned in a data-driven manner. The proposed network architecture has separate encoding branches for each image sensor, which feed into a single latent embedding. I.e., a common feature representation shared by all inputs, such that subsequent processing steps deliver comparable output irrespective of which sort of input image was used. By fusing satellite data, we map lake ice at a temporal resolution of < 1.5 days. The network produces spatially explicit lake ice maps with pixel-wise accuracies > 91% (respectively, mIoU scores > 60%) and generalises well across different lakes and winters. Moreover, it sets a new state-of-the-art for determining the important ice-on and ice-off dates for the target lakes, in many cases meeting the GCOS requirement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google