Deep Learning-based Bathymetry Retrieval without In-situ Depths using Remote Sensing Imagery and SfM-MVS DSMs with Data Gaps

要約

正確で詳細な、高頻度の浸水は、激しい気候学的および人為的圧力に直面している浅い海底地域にとって非常に重要です。
空borneまたは衛星光学画像を利用して浸潤を導出する現在の方法は、主に屈折補正またはスペクトル由来の海底地形（SDB）のいずれかのSFM-MVに依存しています。
ただし、SDBメソッドは、多くの場合、広範な手動フィールドワークまたはコストのかかる参照データが必要になることがよくありますが、SFM-MVは屈折補正後でも課題に直面しています。
これらには、均一な視覚テクスチャを備えた環境での深度データのギャップとノイズが含まれ、海底の正確で完全なデジタル表面モデル（DSM）の作成を妨げます。
これらの課題に対処するために、この作業は、SFM-MVSメソッドの高忠実度の3D再構成機能と、最新の屈折補正技術と、新しい深い学習ベースの浸水ベースの方法のスペクトル分析機能を組み合わせた方法論を導入します。
この統合により、SFM-MVがデータギャップを備えたDSMを導出したDSMがトレーニングデータとして完全な浸水マップを生成するためのトレーニングデータとして使用される相乗的アプローチを可能にします。
これに関連して、U-NETとSWIN変圧器の自己触媒層とSDBに合わせて調整されたクロスアテンションメカニズムを組み合わせたSwin-Bathyunetを提案します。
Swin-Bathyunetは、長距離空間的関係をキャプチャすることにより、およびさまざまなトレーニング深度データを備えた標準SDBのスタンドアロンソリューションとして機能するように設計されています。SFM-MVS出力とは無関係です。
地中海とバルト海の2つのまったく異なるテストサイトでの実験結果は、予測されたDSMの海底地域の精度、詳細、カバレッジ、騒音削減の改善を示す広範な実験を通じて提案されたアプローチの有効性を示しています。
このコードは、https：//github.com/pagraf/swin-bathyunetで入手できます。

要約(オリジナル)

Accurate, detailed, and high-frequent bathymetry is crucial for shallow seabed areas facing intense climatological and anthropogenic pressures. Current methods utilizing airborne or satellite optical imagery to derive bathymetry primarily rely on either SfM-MVS with refraction correction or Spectrally Derived Bathymetry (SDB). However, SDB methods often require extensive manual fieldwork or costly reference data, while SfM-MVS approaches face challenges even after refraction correction. These include depth data gaps and noise in environments with homogeneous visual textures, which hinder the creation of accurate and complete Digital Surface Models (DSMs) of the seabed. To address these challenges, this work introduces a methodology that combines the high-fidelity 3D reconstruction capabilities of the SfM-MVS methods with state-of-the-art refraction correction techniques, along with the spectral analysis capabilities of a new deep learning-based method for bathymetry prediction. This integration enables a synergistic approach where SfM-MVS derived DSMs with data gaps are used as training data to generate complete bathymetric maps. In this context, we propose Swin-BathyUNet that combines U-Net with Swin Transformer self-attention layers and a cross-attention mechanism, specifically tailored for SDB. Swin-BathyUNet is designed to improve bathymetric accuracy by capturing long-range spatial relationships and can also function as a standalone solution for standard SDB with various training depth data, independent of the SfM-MVS output. Experimental results in two completely different test sites in the Mediterranean and Baltic Seas demonstrate the effectiveness of the proposed approach through extensive experiments that demonstrate improvements in bathymetric accuracy, detail, coverage, and noise reduction in the predicted DSM. The code is available at https://github.com/pagraf/Swin-BathyUNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google