Seeing Through the Clouds: Cloud Gap Imputation with Prithvi Foundation Model

要約

マルチスペクトル衛星画像の曇ったピクセルを埋めることは、正確なデータ分析と下流アプリケーション、特に時系列データを必要とするタスクにとって不可欠です。
この問題に対処するために、マルチスペクトル衛星画像の時系列における欠損値補完について、基本的な Vision Transformer (ViT) モデルのパフォーマンスをベースラインの Conditional Generative Adversarial Network (CGAN) モデルと比較します。
現実世界の雲マスクを使用して衛星画像の時系列をランダムにマスクし、欠落したピクセルを再構築するように各モデルをトレーニングします。
ViT モデルは事前トレーニングされたモデルから微調整されますが、CGAN は最初からトレーニングされます。
構造類似性指数や平均絶対誤差などの定量的な評価指標と、定性的な視覚分析を使用して、補完精度と文脈の保存を評価します。

要約(オリジナル)

Filling cloudy pixels in multispectral satellite imagery is essential for accurate data analysis and downstream applications, especially for tasks which require time series data. To address this issue, we compare the performance of a foundational Vision Transformer (ViT) model with a baseline Conditional Generative Adversarial Network (CGAN) model for missing value imputation in time series of multispectral satellite imagery. We randomly mask time series of satellite images using real-world cloud masks and train each model to reconstruct the missing pixels. The ViT model is fine-tuned from a pretrained model, while the CGAN is trained from scratch. Using quantitative evaluation metrics such as structural similarity index and mean absolute error as well as qualitative visual analysis, we assess imputation accuracy and contextual preservation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google