A Novel Large-scale Crop Dataset and Dual-stream Transformer Method for Fine-grained Hierarchical Crop Classification from Integrated Hyperspectral EnMAP Data and Multispectral Sentinel-2 Time Series

要約

精密な農業と食料安全保障の監視には、細粒の作物分類が重要です。
フェノロジーダイナミクス（Sentinel-2などの多様な衛星データから得られた）と微妙なスペクトル変動（ハイパースペクトル画像からナノメートルスケールスペクトル解像度を要求する）の両方の同時キャプチャが必要です。
これら2つのモダリティを組み合わせた研究は、ハイパースペクトルデータの収集と作物タイプの注釈コストの課題により、現在依然として不足しています。
これらの問題に対処するために、30m解像度のエンマップハイパースペクトルデータとSentinel-2時系列を統合することにより、階層型延期作物データセット（H2CROP）を構築します。
4層の作物分類法で組織された100万枚以上の注釈付きフィールド小包により、H2CROPは、きめ細かい農業作物分類とハイパースペクトル画像処理のための重要なベンチマークを確立します。
これらのモダリティを相乗的に処理するデュアルストリームトランスアーキテクチャを提案します。
2つの特殊な経路を調整します。スペクトル空間変圧器は、ハイパースペクトルエンマップデータから細粒のシグネチャを抽出し、一方、スウィントランスはセンチネル2時系列から作物の成長パターンを抽出します。
設計された階層分類ヘッド階層融合ヘッドは、同時にすべての分類層にマルチレベルの分類を提供します。
実験では、ハイパースペクトルエンマップデータをSentinel-2時系列に追加すると、平均F1スコアが4.2％改善されることが示されています（6.3％でピークに達します）。
また、さまざまな時間窓と作物の変化シナリオにわたるハイパースペクトルデータの一貫した利点と、作物タイプの分類のための既存の深い学習アプローチに対する方法のより高い精度を確認します。
コードとデータセットはhttps://github.com/flyakon/h2cropおよびwww.glass.hku.hkキーワードで入手できます。

要約(オリジナル)

Fine-grained crop classification is crucial for precision agriculture and food security monitoring. It requires simultaneous capture of both phenological dynamics (obtained from multi-temporal satellite data like Sentinel-2) and subtle spectral variations (demanding nanometer-scale spectral resolution from hyperspectral imagery). Research combining these two modalities remains scarce currently due to challenges in hyperspectral data acquisition and crop types annotation costs. To address these issues, we construct a hierarchical hyperspectral crop dataset (H2Crop) by integrating 30m-resolution EnMAP hyperspectral data with Sentinel-2 time series. With over one million annotated field parcels organized in a four-tier crop taxonomy, H2Crop establishes a vital benchmark for fine-grained agricultural crop classification and hyperspectral image processing. We propose a dual-stream Transformer architecture that synergistically processes these modalities. It coordinates two specialized pathways: a spectral-spatial Transformer extracts fine-grained signatures from hyperspectral EnMAP data, while a temporal Swin Transformer extracts crop growth patterns from Sentinel-2 time series. The designed hierarchy classification heads with hierarchical fusion then simultaneously delivers multi-level classification across all taxonomic tiers. Experiments demonstrate that adding hyperspectral EnMAP data to Sentinel-2 time series yields a 4.2% average F1-scores improvement (peaking at 6.3%). Extensive comparisons also confirming our method’s higher accuracy over existing deep learning approaches for crop type classification and the consistent benefits of hyperspectral data across varying temporal windows and crop change scenarios. Codes and dataset will be available at https://github.com/flyakon/H2Crop and www.glass.hku.hk Keywords: Crop type classification, precision agriculture, remote sensing, deep learning, hyperspectral data, Sentinel-2 time series, fine-grained crops

arxiv情報

提供元, 利用サービス

arxiv.jp, Google