In the Search for Optimal Multi-view Learning Models for Crop Classification with Global Remote Sensing Data

要約

作物の分類は、作物のパターンの変化、資源管理、炭素隔離の研究においてその役割を果たしているため、非常に重要です。
予測にデータ駆動型の手法を採用する場合、さまざまな時間データ ソースを利用する必要があります。
深層学習モデルは、時系列データを予測用の高レベル表現にマッピングすることで、このタスクに効果的であることが証明されています。
ただし、複数の入力パターンを扱う場合、大きな課題に直面します。
文献では、主に特定のエンコーダーを使用した融合戦略の探索とローカル リージョンでの検証に焦点を当てているため、マルチビュー学習 (MVL) シナリオに関する限定的なガイダンスが提供されています。
対照的に、我々は、地球規模の農地と作物の種類の分類で評価された融合戦略とエンコーダアーキテクチャの同時選択の影響を調査します。
可能な MVL モデル構成として、さまざまな 5 つの融合戦略 (入力、特徴、決定、アンサンブル、ハイブリッド) と 5 つの時間エンコーダー アーキテクチャ (LSTM、GRU、TempCNN、TAE、L-TAE) を使用します。
検証は、光学、レーダー、気象の時系列と地形情報を入力データとして提供する CropHarvest データセットで行われます。
ラベル付きサンプルの数が限られているシナリオでは、すべてのケースに固有の構成では不十分であることがわかりました。
代わりに、エンコーダとフュージョン戦略を含む特殊な組み合わせを細心の注意を払って探す必要があります。
この検索プロセスを効率化するには、最初に特定の融合戦略に合わせた最適なエンコーダ アーキテクチャを特定し、次に分類タスクに最適な融合戦略を決定することをお勧めします。
私たちは、MVL アプローチを通じて作物の分類や関連タスクを調査する研究者に技術的なフレームワークを提供します。

要約(オリジナル)

Crop classification is of critical importance due to its role in studying crop pattern changes, resource management, and carbon sequestration. When employing data-driven techniques for its prediction, utilizing various temporal data sources is necessary. Deep learning models have proven to be effective for this task by mapping time series data to high-level representation for prediction. However, they face substantial challenges when dealing with multiple input patterns. The literature offers limited guidance for Multi-View Learning (MVL) scenarios, as it has primarily focused on exploring fusion strategies with specific encoders and validating them in local regions. In contrast, we investigate the impact of simultaneous selection of the fusion strategy and the encoder architecture evaluated on a global-scale cropland and crop-type classifications. We use a range of five fusion strategies (Input, Feature, Decision, Ensemble, Hybrid) and five temporal encoder architectures (LSTM, GRU, TempCNN, TAE, L-TAE) as possible MVL model configurations. The validation is on the CropHarvest dataset that provides optical, radar, and weather time series, and topographic information as input data. We found that in scenarios with a limited number of labeled samples, a unique configuration is insufficient for all the cases. Instead, a specialized combination, including encoder and fusion strategy, should be meticulously sought. To streamline this search process, we suggest initially identifying the optimal encoder architecture tailored for a particular fusion strategy, and then determining the most suitable fusion strategy for the classification task. We provide a technical framework for researchers exploring crop classification or related tasks through a MVL approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google