An Explainable Vision Transformer with Transfer Learning Combined with Support Vector Machine Based Efficient Drought Stress Identification

要約

干ばつストレスの早期発見は、干ばつの影響が不可逆的になる前に、作物の損失を減らすためのタイムリーな措置を講じるために重要です。
干ばつストレスに応答する微妙な表現型および生理学的変化は、非侵襲的なイメージング技術によって捕捉され、これらのイメージングデータは、乾燥ストレスを特定するための機械学習手法の貴重なリソースとして機能します。
畳み込みニューラル ネットワーク (CNN) は広く使用されていますが、ビジョン トランスフォーマー (ViT) は、長距離の依存関係や複雑な空間関係を捕捉するための有望な代替手段を提供し、それによって干ばつストレスの微妙な指標の検出を強化します。
私たちは、航空画像を使用してジャガイモ作物の干ばつストレスを検出するために ViT の能力を活用する、説明可能な深層学習パイプラインを提案します。
私たちは 2 つの異なるアプローチを適用しました。1 つは ViT とサポート ベクター マシン (SVM) の相乗的な組み合わせであり、ViT は航空画像から複雑な空間特徴を抽出し、SVM は作物をストレスがかかっているか健康であるかに分類します。もう 1 つは専用の分類を使用したエンドツーエンドのアプローチです。
ViT 内の層を利用して干ばつストレスを直接検出します。
私たちの主な発見は、アテンション マップを視覚化することで ViT モデルの意思決定プロセスを説明します。
これらのマップは、ViT モデルが干ばつストレスの兆候として焦点を当てている航空画像内の特定の空間的特徴を強調表示します。
私たちの調査結果は、提案された方法が乾燥ストレスの特定において高い精度を達成するだけでなく、乾燥ストレスに関連する多様な微妙な植物の特徴に光を当てることもできることを示しています。
これにより、農民が作物管理を改善するために十分な情報に基づいた意思決定を行うための、干ばつストレス監視のための堅牢で解釈可能なソリューションが提供されます。

要約(オリジナル)

Early detection of drought stress is critical for taking timely measures for reducing crop loss before the drought impact becomes irreversible. The subtle phenotypical and physiological changes in response to drought stress are captured by non-invasive imaging techniques and these imaging data serve as valuable resource for machine learning methods to identify drought stress. While convolutional neural networks (CNNs) are in wide use, vision transformers (ViTs) present a promising alternative in capturing long-range dependencies and intricate spatial relationships, thereby enhancing the detection of subtle indicators of drought stress. We propose an explainable deep learning pipeline that leverages the power of ViTs for drought stress detection in potato crops using aerial imagery. We applied two distinct approaches: a synergistic combination of ViT and support vector machine (SVM), where ViT extracts intricate spatial features from aerial images, and SVM classifies the crops as stressed or healthy and an end-to-end approach using a dedicated classification layer within ViT to directly detect drought stress. Our key findings explain the ViT model’s decision-making process by visualizing attention maps. These maps highlight the specific spatial features within the aerial images that the ViT model focuses as the drought stress signature. Our findings demonstrate that the proposed methods not only achieve high accuracy in drought stress identification but also shedding light on the diverse subtle plant features associated with drought stress. This offers a robust and interpretable solution for drought stress monitoring for farmers to undertake informed decisions for improved crop management.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google