Empirical Study of PEFT techniques for Winter Wheat Segmentation

要約

PEFT（Parameter Efficient Fine Tuning：パラメータ効率的な微調整）技術は、最近大きな成長を遂げており、大規模なビジョンモデルや言語モデルを様々なドメインに適応させるために広く採用されている。このような進歩にもかかわらず、現実のシナリオ、特にリモートセンシングと作物モニタリングの重要な領域におけるPEFTの潜在的な応用については、まだ多くの研究が行われていない。さまざまな地域にわたる気候の多様性と包括的な大規模データセットの必要性は、さまざまな地理的位置と変化する生育期にわたって作物の種類を正確に識別するための大きな障害となっている。本研究では、State-of-the-Art（SOTA）小麦作物モニタリングモデルを用いて、地域横断的かつ年度横断的な分布外汎化の実現可能性を包括的に調査することにより、このギャップを埋めることを目指す。この研究の目的は、作物モニタリングのためのPEFTアプローチを探求することである。具体的には、SOTA TSViTモデルを、作物モニタリングと食糧安全保障にとって重要なタスクである冬小麦の圃場分割に適応させることに焦点を当てる。この適応プロセスでは、BigFit、LoRA、Adaptformer、およびプロンプトチューニングを含む、さまざまなPEFT技術を統合する。PEFT技術を使用することで、TSViTアーキテクチャ全体のわずか0.7%のパラメータしか学習しないにもかかわらず、完全なファインチューニング手法を使用した場合に匹敵する顕著な結果を達成した。Beqaa-Lebanonデータセットと呼ばれる、社内でラベル付けされたデータセットは、5年連続で、小麦と非麦のクラス、総面積170キロ平方メートルの高品質な注釈付きポリゴンで構成されている。Sentinel-2画像を用いた我々のモデルは84%のF1スコアを達成した。レバノン産冬小麦のデータセット、コードリポジトリ、モデルの重みを公開する予定である。

要約(オリジナル)

Parameter Efficient Fine Tuning (PEFT) techniques have recently experienced significant growth and have been extensively employed to adapt large vision and language models to various domains, enabling satisfactory model performance with minimal computational needs. Despite these advances, more research has yet to delve into potential PEFT applications in real-life scenarios, particularly in the critical domains of remote sensing and crop monitoring. The diversity of climates across different regions and the need for comprehensive large-scale datasets have posed significant obstacles to accurately identify crop types across varying geographic locations and changing growing seasons. This study seeks to bridge this gap by comprehensively exploring the feasibility of cross-area and cross-year out-of-distribution generalization using the State-of-the-Art (SOTA) wheat crop monitoring model. The aim of this work is to explore PEFT approaches for crop monitoring. Specifically, we focus on adapting the SOTA TSViT model to address winter wheat field segmentation, a critical task for crop monitoring and food security. This adaptation process involves integrating different PEFT techniques, including BigFit, LoRA, Adaptformer, and prompt tuning. Using PEFT techniques, we achieved notable results comparable to those achieved using full fine-tuning methods while training only a mere 0.7% parameters of the whole TSViT architecture. The in-house labeled data-set, referred to as the Beqaa-Lebanon dataset, comprises high-quality annotated polygons for wheat and non-wheat classes with a total surface of 170 kmsq, over five consecutive years. Using Sentinel-2 images, our model achieved a 84% F1-score. We intend to publicly release the Lebanese winter wheat data set, code repository, and model weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL