Improving Satellite Imagery Masking using Multi-task and Transfer Learning

要約

多くのリモート センシング アプリケーションでは、後続の測定のために衛星画像内のピクセルのマスキングを採用しています。
たとえば、浮遊堆積物濃度 (SSC) などの水質変数を推定するには、雲、その影、地形の影、雪や氷の形成の影響を受けない水域を表すピクセルを分離する必要があります。
重大なボトルネックは、さまざまなデータ製品 (衛星画像、標高地図など) への依存と、推定精度に影響を与える個々のステップの精度の欠如です。
私たちは、Harmonized Landsat and Sentinel (HLS) 画像から必要なすべてのマスクを予測するシステムを開発することで、マスキングの精度と計算効率の両方を向上させることを提案します。
私たちのモデルはマルチタスクを採用して計算を共有し、タスク全体でより高い精度を実現します。
私たちはディープ ネットワーク アーキテクチャの最近の進歩を実験し、特に大規模な衛星画像データセットでの事前トレーニングと組み合わせた場合に、マスキング モデルがこれらの利点を活用できることを示します。
マスキングの速度と精度のさまざまなトレードオフを提供するモデルのコレクションを紹介します。
MobileNet のバリアントは最も高速で、大規模なアーキテクチャと競合するパフォーマンスを発揮します。
Transformer ベースのアーキテクチャは最も遅いですが、大規模な衛星画像データセットでの事前トレーニングから最も恩恵を受けます。
私たちのモデルは、水ピクセル識別に関する以前の研究と比較して、F1 スコアが 9% 向上しました。
SSC 推定システムと統合すると、当社のモデルは 30 倍のスピードアップをもたらし、推定誤差を 2.64 mg/L 削減し、地球規模の分析を可能にします。
また、最近提案された雲と雲の影の推定ベンチマークでもモデルを評価し、F1 スコアで現在の最先端モデルを少なくとも 6% 上回りました。

要約(オリジナル)

Many remote sensing applications employ masking of pixels in satellite imagery for subsequent measurements. For example, estimating water quality variables, such as Suspended Sediment Concentration (SSC) requires isolating pixels depicting water bodies unaffected by clouds, their shadows, terrain shadows, and snow and ice formation. A significant bottleneck is the reliance on a variety of data products (e.g., satellite imagery, elevation maps), and a lack of precision in individual steps affecting estimation accuracy. We propose to improve both the accuracy and computational efficiency of masking by developing a system that predicts all required masks from Harmonized Landsat and Sentinel (HLS) imagery. Our model employs multi-tasking to share computation and enable higher accuracy across tasks. We experiment with recent advances in deep network architectures and show that masking models can benefit from these, especially when combined with pre-training on large satellite imagery datasets. We present a collection of models offering different speed/accuracy trade-offs for masking. MobileNet variants are the fastest, and perform competitively with larger architectures. Transformer-based architectures are the slowest, but benefit the most from pre-training on large satellite imagery datasets. Our models provide a 9% F1 score improvement compared to previous work on water pixel identification. When integrated with an SSC estimation system, our models result in a 30x speedup while reducing estimation error by 2.64 mg/L, allowing for global-scale analysis. We also evaluate our model on a recently proposed cloud and cloud shadow estimation benchmark, where we outperform the current state-of-the-art model by at least 6% in F1 score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google