Multimodal Crop Type Classification Fusing Multi-Spectral Satellite Time Series with Farmers Crop Rotations and Local Crop Distribution

要約

正確で詳細かつタイムリーな作物タイプのマッピングは、市民のニーズに応じてより正確な政策を作成するために、機関にとって非常に貴重な情報です。
過去 10 年間で、利用可能なデータの量は、リモート センシング (Copernicus Sentinel-2 データを使用) から、または農家から直接 (何年にもわたる現場での作物情報と輪作に関する情報を提供) から得られるかどうかにかかわらず、劇的に増加しました。
それにもかかわらず、研究の大部分は 1 つのモダリティ (リモート センシング データまたは輪作) の使用に制限されており、地球観測データを輪作などのドメイン知識と融合させることはありません。
さらに、地球観測データを使用する場合、過去数年を考慮せず、主に 1 年間のデータに制限されます。
これに関連して、言語モデルのように作物の回転をモデル化する階層型深層学習アルゴリズムを使用し、音声信号のように衛星信号を使用し、作物の分布を
追加のコンテキスト ベクトル。
従来のアプローチと比較して非常に有望な結果が得られ、28 クラスの設定 (.948) で精度が 5.1 ポイント向上し、マイクロ F1 は 10 クラスの設定 (.887) で 9.6 ポイント向上しました。
専門家によって選択された一連の関心のある作物。
最後に、モデルがシーズン終了前に作物を分類できるようにするデータ拡張手法を提案しました。これは、マルチモーダル設定で驚くほどうまく機能します。

要約(オリジナル)

Accurate, detailed, and timely crop type mapping is a very valuable information for the institutions in order to create more accurate policies according to the needs of the citizens. In the last decade, the amount of available data dramatically increased, whether it can come from Remote Sensing (using Copernicus Sentinel-2 data) or directly from the farmers (providing in-situ crop information throughout the years and information on crop rotation). Nevertheless, the majority of the studies are restricted to the use of one modality (Remote Sensing data or crop rotation) and never fuse the Earth Observation data with domain knowledge like crop rotations. Moreover, when they use Earth Observation data they are mainly restrained to one year of data, not taking into account the past years. In this context, we propose to tackle a land use and crop type classification task using three data types, by using a Hierarchical Deep Learning algorithm modeling the crop rotations like a language model, the satellite signals like a speech signal and using the crop distribution as additional context vector. We obtained very promising results compared to classical approaches with significant performances, increasing the Accuracy by 5.1 points in a 28-class setting (.948), and the micro-F1 by 9.6 points in a 10-class setting (.887) using only a set of crop of interests selected by an expert. We finally proposed a data-augmentation technique to allow the model to classify the crop before the end of the season, which works surprisingly well in a multimodal setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google