Multi-modal learning for geospatial vegetation forecasting

要約

正確な地理空間植生予測の革新的な応用は、農業、林業、人道支援、炭素会計などのさまざまな分野にわたって計り知れない可能性を秘めています。
このタスクに衛星画像の膨大な利用可能性を活用するために、さまざまな研究がディープ ニューラル ネットワークを適用して、写真のようにリアルな品質でマルチスペクトル画像を予測してきました。
しかし、植生動態という重要な領域は十分に研究されていません。
私たちの研究は、高解像度の植生予測用に特別に設計された初のデータセットである GreenEarthNet と、ヨーロッパ全土の高解像度の Sentinel 2 衛星画像から植生の緑度を予測するための新しい深層学習アプローチである Contextformer を導入することにより、新境地を開拓しました。
当社のマルチモーダル トランスフォーマー モデル Contextformer は、ビジョン バックボーンを通じて空間コンテキストを活用し、パラメーター効率の高い方法で気象時系列を組み込んだローカル コンテキスト パッチ上の時間ダイナミクスを予測します。
GreenEarthNet データセットは、学習された雲マスクと植生モデリングのための適切な評価スキームを備えています。
また、既存の衛星画像予測データセット EarthNet2021 との互換性も維持されており、データセット間のモデル比較が可能です。
当社の広範な定性的および定量的分析により、当社の手法が広範囲のベースライン技術を上回るパフォーマンスを示しています。
これには、EarthNet2021 の以前の最先端モデルを超えることや、時系列予測とビデオ予測から適応されたモデルが含まれます。
私たちの知る限り、この研究は、季節サイクルを超えた異常を捕捉できる高解像度での大陸規模の植生モデリングの最初のモデルを提示し、それによって、気候変動や極端な現象に対応した植生の健全性と行動を予測するための道を切り開きます。

要約(オリジナル)

The innovative application of precise geospatial vegetation forecasting holds immense potential across diverse sectors, including agriculture, forestry, humanitarian aid, and carbon accounting. To leverage the vast availability of satellite imagery for this task, various works have applied deep neural networks for predicting multispectral images in photorealistic quality. However, the important area of vegetation dynamics has not been thoroughly explored. Our study breaks new ground by introducing GreenEarthNet, the first dataset specifically designed for high-resolution vegetation forecasting, and Contextformer, a novel deep learning approach for predicting vegetation greenness from Sentinel 2 satellite images with fine resolution across Europe. Our multi-modal transformer model Contextformer leverages spatial context through a vision backbone and predicts the temporal dynamics on local context patches incorporating meteorological time series in a parameter-efficient manner. The GreenEarthNet dataset features a learned cloud mask and an appropriate evaluation scheme for vegetation modeling. It also maintains compatibility with the existing satellite imagery forecasting dataset EarthNet2021, enabling cross-dataset model comparisons. Our extensive qualitative and quantitative analyses reveal that our methods outperform a broad range of baseline techniques. This includes surpassing previous state-of-the-art models on EarthNet2021, as well as adapted models from time series forecasting and video prediction. To the best of our knowledge, this work presents the first models for continental-scale vegetation modeling at fine resolution able to capture anomalies beyond the seasonal cycle, thereby paving the way for predicting vegetation health and behaviour in response to climate variability and extremes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google