Generalized Classification of Satellite Image Time Series with Thermal Positional Encoding

要約

大規模な作物タイプの分類は、経済的および生態学的に重要なアプリケーションを使用したリモートセンシングの取り組みの中核となるタスクです。
現在の最先端の深層学習手法は、自己注意に基づいており、衛星画像時系列（SITS）を使用して、独自の成長パターンに基づいて作物の種類を識別します。
ただし、既存の方法は、主に気候の変動によって引き起こされる成長期の時間的変化に頑健でないため、トレーニング中に見られない地域に一般化されていません。
この目的のために、注意に基づく作物分類器のための熱位置符号化（TPE）を提案します。
カレンダー時間（たとえば、年の日）に基づく以前の位置エンコードとは異なり、TPEは、成長期の1日の平均気温を累積することによって取得される熱時間に基づいています。
作物の成長は熱時間に直接関係しますが、暦時間には関係しないため、TPEは一般化を改善するために異なる地域間の時間的変化に対処します。
一般的な固定位置エンコーディングと比較して結果をさらに改善するために、学習可能な方法を含む複数のTPE戦略を提案します。
最先端の一般化結果を取得する、4つの異なるヨーロッパ地域にわたる作物分類タスクに対するアプローチを示します。

要約(オリジナル)

Large-scale crop type classification is a task at the core of remote sensing efforts with applications of both economic and ecological importance. Current state-of-the-art deep learning methods are based on self-attention and use satellite image time series (SITS) to discriminate crop types based on their unique growth patterns. However, existing methods generalize poorly to regions not seen during training mainly due to not being robust to temporal shifts of the growing season caused by variations in climate. To this end, we propose Thermal Positional Encoding (TPE) for attention-based crop classifiers. Unlike previous positional encoding based on calendar time (e.g. day-of-year), TPE is based on thermal time, which is obtained by accumulating daily average temperatures over the growing season. Since crop growth is directly related to thermal time, but not calendar time, TPE addresses the temporal shifts between different regions to improve generalization. We propose multiple TPE strategies, including learnable methods, to further improve results compared to the common fixed positional encodings. We demonstrate our approach on a crop classification task across four different European regions, where we obtain state-of-the-art generalization results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google