MMST-ViT: Climate Change-aware Crop Yield Prediction via Multi-Modal Spatial-Temporal Vision Transformer

要約

正確な作物収量予測は、農業計画と意思決定プロセスに貴重な情報を提供します。
しかし、作物の成長は成長期の天候の変化や気候変動に敏感であるため、作物の収量をタイムリーに予測することは依然として困難です。
この研究では、短期的な気象の影響を考慮して、米国全土の郡レベルで作物の収量を予測するための深層学習ベースのソリューション、すなわちマルチモーダル時空間ビジョントランスフォーマー (MMST-ViT) を開発します。
生育期の変動と作物に対する長期的な気候変動。
具体的には、MMST-ViT は、マルチモーダル トランスフォーマー、空間トランスフォーマー、時間トランスフォーマーで構成されます。
マルチモーダル トランスフォーマーは、視覚的なリモート センシング データと短期気象データの両方を活用して、作物の成長に対する生育期の気象変動の影響をモデル化します。
Spatial Transformer は、正確な農業追跡のために郡間の高解像度の空間依存関係を学習します。
Temporal Transformer は、長期的な気候変動が作物に及ぼす影響を学習するために、長期的な時間依存性を取得します。
同時に、人間による広範な監督なしでモデルを事前トレーニングするための、新しいマルチモーダル対比学習手法も考案しました。
したがって、当社の MMST-ViT は、衛星画像と気象データの両方を活用して、短期的な気象変動と長期的な気候変動の両方が作物に与える影響を捉えます。
当社は米国の 200 を超える郡で広範な実験を実施し、その実験結果では、当社の MMST-ViT が、対象となる 3 つのパフォーマンス指標の下で同等の製品よりも優れていることが示されました。

要約(オリジナル)

Precise crop yield prediction provides valuable information for agricultural planning and decision-making processes. However, timely predicting crop yields remains challenging as crop growth is sensitive to growing season weather variation and climate change. In this work, we develop a deep learning-based solution, namely Multi-Modal Spatial-Temporal Vision Transformer (MMST-ViT), for predicting crop yields at the county level across the United States, by considering the effects of short-term meteorological variations during the growing season and the long-term climate change on crops. Specifically, our MMST-ViT consists of a Multi-Modal Transformer, a Spatial Transformer, and a Temporal Transformer. The Multi-Modal Transformer leverages both visual remote sensing data and short-term meteorological data for modeling the effect of growing season weather variations on crop growth. The Spatial Transformer learns the high-resolution spatial dependency among counties for accurate agricultural tracking. The Temporal Transformer captures the long-range temporal dependency for learning the impact of long-term climate change on crops. Meanwhile, we also devise a novel multi-modal contrastive learning technique to pre-train our model without extensive human supervision. Hence, our MMST-ViT captures the impacts of both short-term weather variations and long-term climate change on crops by leveraging both satellite images and meteorological data. We have conducted extensive experiments on over 200 counties in the United States, with the experimental results exhibiting that our MMST-ViT outperforms its counterparts under three performance metrics of interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google