WisWheat: A Three-Tiered Vision-Language Dataset for Wheat Management

要約

小麦管理戦略は、収量を決定する上で重要な役割を果たします。
従来の管理上の決定は、多くの場合、労働集約型の専門家検査に依存しています。
最近、Vision-Language Models（VLM）は、スケーラブルでデータ駆動型の管理サポートを可能にする有望なソリューションとして浮上しています。
ただし、ドメイン固有の知識が不足しているため、VLMSを小麦管理タスクに直接適用すると、定量化と推論能力が低下し、最終的には曖昧または誤解を招く管理の推奨事項が生成されます。
これに応じて、小麦管理タスクのVLMパフォーマンスを強化する3層設計を備えた小麦固有のデータセットであるWishwheatを提案します。
（2）タスクを測定する定量的特性のための7,263 VQAスタイルの画像と回答のトリプレットを含む定量的データセット。
（3）さまざまな生物季節学的段階の生物的および非生物的ストレス診断と管理計画を標的とする4,888サンプルを備えた微調整データセット。
大規模な実験結果は、データセットの微調整オープンソースVLM（QWEN2.5 7Bなど）が大幅なパフォーマンスの改善につながることを示しています。
具体的には、小麦命令データセットで微調整されたQWEN2.5 VL 7Bは、小麦ストレスと成長段階の会話タスクでそれぞれ79.2％と84.6％の精度スコアを達成し、GPT-4Oなどの汎用商用モデルを11.9％および34.6％の汎用商用モデルでさえ上回ります。

要約(オリジナル)

Wheat management strategies play a critical role in determining yield. Traditional management decisions often rely on labour-intensive expert inspections, which are expensive, subjective and difficult to scale. Recently, Vision-Language Models (VLMs) have emerged as a promising solution to enable scalable, data-driven management support. However, due to a lack of domain-specific knowledge, directly applying VLMs to wheat management tasks results in poor quantification and reasoning capabilities, ultimately producing vague or even misleading management recommendations. In response, we propose WisWheat, a wheat-specific dataset with a three-layered design to enhance VLM performance on wheat management tasks: (1) a foundational pretraining dataset of 47,871 image-caption pairs for coarsely adapting VLMs to wheat morphology; (2) a quantitative dataset comprising 7,263 VQA-style image-question-answer triplets for quantitative trait measuring tasks; and (3) an Instruction Fine-tuning dataset with 4,888 samples targeting biotic and abiotic stress diagnosis and management plan for different phenological stages. Extensive experimental results demonstrate that fine-tuning open-source VLMs (e.g., Qwen2.5 7B) on our dataset leads to significant performance improvements. Specifically, the Qwen2.5 VL 7B fine-tuned on our wheat instruction dataset achieves accuracy scores of 79.2% and 84.6% on wheat stress and growth stage conversation tasks respectively, surpassing even general-purpose commercial models such as GPT-4o by a margin of 11.9% and 34.6%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google