Insect-Foundation: A Foundation Model and Large-scale 1M Dataset for Visual Insect Understanding

要約

精密農業では、昆虫の検出と認識は、作物が健全に成長し、高品質の収量を生み出す能力に重要な役割を果たします。
現在のマシン ビジョン モデルは、高いパフォーマンスを実現するために大量のデータを必要とします。
しかし、世界には約 550 万種の異なる昆虫が存在します。
地理的位置や取得コストが異なるため、既存の昆虫データセットはその一部さえカバーできません。
この論文では、昆虫関連の基礎モデルのトレーニングに革命をもたらす革新的なリソースである新しい「Insect-1M」データセットを紹介します。
膨大な範囲の昆虫種をカバーする当社のデータセットには、分類階層と昆虫の説明の密な識別ラベルを含む 100 万枚の画像が含まれており、昆虫学の全景を提供し、基礎モデルがこれまでにない方法で昆虫に関する視覚的および意味論的な情報を理解できるようになります。
次に、昆虫基礎モデルを効率的に確立するために、昆虫画像間の微妙な違いを識別できるパッチワイズ関連アテンション機構を備えたマイクロ特徴自己教師あり学習手法を開発します。
さらに、昆虫の説明による微細特徴モデリングを改善するために、説明一貫性の損失を導入します。
私たちは実験を通じて、昆虫モデリングにおける提案アプローチの有効性を実証し、昆虫関連タスクの標準ベンチマークで最先端のパフォーマンスを達成しました。
当社の昆虫基盤モデルとデータセットは、次世代の昆虫関連ビジョン モデルを強化し、精密農業の最終目標に近づけることを約束します。

要約(オリジナル)

In precision agriculture, the detection and recognition of insects play an essential role in the ability of crops to grow healthy and produce a high-quality yield. The current machine vision model requires a large volume of data to achieve high performance. However, there are approximately 5.5 million different insect species in the world. None of the existing insect datasets can cover even a fraction of them due to varying geographic locations and acquisition costs. In this paper, we introduce a novel ‘Insect-1M’ dataset, a game-changing resource poised to revolutionize insect-related foundation model training. Covering a vast spectrum of insect species, our dataset, including 1 million images with dense identification labels of taxonomy hierarchy and insect descriptions, offers a panoramic view of entomology, enabling foundation models to comprehend visual and semantic information about insects like never before. Then, to efficiently establish an Insect Foundation Model, we develop a micro-feature self-supervised learning method with a Patch-wise Relevant Attention mechanism capable of discerning the subtle differences among insect images. In addition, we introduce Description Consistency loss to improve micro-feature modeling via insect descriptions. Through our experiments, we illustrate the effectiveness of our proposed approach in insect modeling and achieve State-of-the-Art performance on standard benchmarks of insect-related tasks. Our Insect Foundation Model and Dataset promise to empower the next generation of insect-related vision models, bringing them closer to the ultimate goal of precision agriculture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google