Exploring Self-Attention for Crop-type Classification Explainability

要約

Sentinel-2 衛星時系列を使用した自動作物タイプ分類は、農業モニタリングをサポートするために不可欠です。
最近、変圧器エンコーダーに基づくディープ ラーニング モデルは、作物の種類を分類するための有望なアプローチになりました。
説明可能な機械学習を使用してこれらのモデルの内部動作を明らかにすることは、利害関係者の信頼と効率的な農業監視を改善するための重要なステップです。
このホワイトペーパーでは、最先端のトランスフォーマーエンコーダーモデルによって学習された本質的な作物の曖昧さ回避パターンに光を当てることを目的とした、新しい説明可能性のフレームワークを紹介します。
より具体的には、トレーニング済みのトランスフォーマー エンコーダーのアテンション ウェイトを処理して、作物のあいまいさを解消するための重要な日付を明らかにし、ドメイン知識を使用して、モデルのパフォーマンスをサポートする生物季節学的イベントを明らかにします。
また、作物固有の生物季節学的イベントを明らかにするための注意能力をよりよく理解するための感度分析アプローチも提示します。
注意パターンが重要な日付に強く関連していることを示す説得力のある結果を報告し、その結果、作物の種類を分類するための重要な生物季節学的イベントに関連しています。
これらの調査結果は、利害関係者の信頼を向上させ、農業監視プロセスを最適化することに関連している可能性があります。
さらに、感度分析は、作物のフェノロジーにおける重要なイベントを特定するための注意の重みの制限を示しています。

要約(オリジナル)

Automated crop-type classification using Sentinel-2 satellite time series is essential to support agriculture monitoring. Recently, deep learning models based on transformer encoders became a promising approach for crop-type classification. Using explainable machine learning to reveal the inner workings of these models is an important step towards improving stakeholders’ trust and efficient agriculture monitoring. In this paper, we introduce a novel explainability framework that aims to shed a light on the essential crop disambiguation patterns learned by a state-of-the-art transformer encoder model. More specifically, we process the attention weights of a trained transformer encoder to reveal the critical dates for crop disambiguation and use domain knowledge to uncover the phenological events that support the model performance. We also present a sensitivity analysis approach to understand better the attention capability for revealing crop-specific phenological events. We report compelling results showing that attention patterns strongly relate to key dates, and consequently, to the critical phenological events for crop-type classification. These findings might be relevant for improving stakeholder trust and optimizing agriculture monitoring processes. Additionally, our sensitivity analysis demonstrates the limitation of attention weights for identifying the important events in the crop phenology as we empirically show that the unveiled phenological events depend on the other crops in the data considered during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google