Empirical Study of PEFT techniques for Winter Wheat Segmentation

要約

Parameter Efficient Fine Tuning (PEFT) 技術は最近大幅な成長を遂げており、大規模なビジョンおよび言語モデルをさまざまなドメインに適応させるために広く採用されており、最小限の計算ニーズで満足のいくモデルのパフォーマンスを可能にします。
これらの進歩にもかかわらず、特にリモートセンシングや作物モニタリングの重要な領域において、実生活のシナリオにおける潜在的なPEFTアプリケーションを掘り下げる研究はまだ行われていません。
さまざまな地域にわたる気候の多様性と、包括的な大規模データセットの必要性により、さまざまな地理的位置や変化する生育期にわたって作物の種類を正確に特定することが大きな障害となっています。
この研究は、最先端 (SOTA) 小麦作物モニタリング モデルを使用して、地域間および年をまたいでの分布外一般化の実現可能性を包括的に調査することで、このギャップを埋めることを目指しています。
この研究の目的は、作物モニタリングのための PEFT アプローチを探ることです。
具体的には、作物の監視と食料安全保障にとって重要なタスクである冬小麦畑の細分化に対処するために、SOTA TSViT モデルを適応させることに重点を置いています。
この適応プロセスには、BigFit、LoRA、Adaptformer、プロンプト チューニングなどのさまざまな PEFT 技術の統合が含まれます。
PEFT 技術を使用すると、TSViT アーキテクチャ全体のわずか 0.7% のパラメータのみをトレーニングしながら、完全な微調整手法を使用して達成された結果と同等の顕著な結果が得られました。
Beqaa-Lebanon データセットと呼ばれる社内でラベル付けされたデータセットは、連続 5 年間にわたる総面積 170 km 平方の小麦および非小麦クラスの注釈付き高品質ポリゴンで構成されています。
Sentinel-2 画像を使用すると、私たちのモデルは 84% の F1 スコアを達成しました。
私たちは、レバノン産冬小麦のデータセット、コードリポジトリ、およびモデルの重みを一般に公開する予定です。

要約(オリジナル)

Parameter Efficient Fine Tuning (PEFT) techniques have recently experienced significant growth and have been extensively employed to adapt large vision and language models to various domains, enabling satisfactory model performance with minimal computational needs. Despite these advances, more research has yet to delve into potential PEFT applications in real-life scenarios, particularly in the critical domains of remote sensing and crop monitoring. The diversity of climates across different regions and the need for comprehensive large-scale datasets have posed significant obstacles to accurately identify crop types across varying geographic locations and changing growing seasons. This study seeks to bridge this gap by comprehensively exploring the feasibility of cross-area and cross-year out-of-distribution generalization using the State-of-the-Art (SOTA) wheat crop monitoring model. The aim of this work is to explore PEFT approaches for crop monitoring. Specifically, we focus on adapting the SOTA TSViT model to address winter wheat field segmentation, a critical task for crop monitoring and food security. This adaptation process involves integrating different PEFT techniques, including BigFit, LoRA, Adaptformer, and prompt tuning. Using PEFT techniques, we achieved notable results comparable to those achieved using full fine-tuning methods while training only a mere 0.7% parameters of the whole TSViT architecture. The in-house labeled data-set, referred to as the Beqaa-Lebanon dataset, comprises high-quality annotated polygons for wheat and non-wheat classes with a total surface of 170 kmsq, over five consecutive years. Using Sentinel-2 images, our model achieved a 84% F1-score. We intend to publicly release the Lebanese winter wheat data set, code repository, and model weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google