Arboretum: A Large Multimodal Dataset Enabling AI for Biodiversity

要約

生物多様性アプリケーションの AI を推進するために設計された、公的にアクセス可能な最大のデータセットである Arboretum を紹介します。
このデータセットは、iNaturalist コミュニティ サイエンス プラットフォームから厳選され、正確性を確保するために分野の専門家によって精査されており、1 億 3,460 万枚の画像が含まれており、既存のデータセットの規模を桁違いに上回っています。
このデータセットには、鳥 (鳥類)、クモ/ダニ/ダニ (クモ類)、昆虫 (昆虫綱)、植物 (植物綱)、菌類/キノコ (菌類)、カタツムリ (軟体動物綱) の多様な種の画像と言語のペア データが含まれています。
、ヘビ/トカゲ (爬虫類) が含まれており、生物多様性評価や農業研究のためのマルチモーダル視覚言語 AI モデルの貴重なリソースとなっています。
各画像には学名、分類学的詳細、一般名が注釈として付けられ、AI モデル トレーニングの堅牢性が強化されます。
私たちは、4,000 万枚のキャプション付き画像のサブセットを使用してトレーニングされた一連の CLIP モデルをリリースすることで、Arboretum の価値を紹介します。
厳密な評価、ゼロショット学習のレポート精度、ライフステージ、希少種、交絡種、および分類階層のさまざまなレベルにわたる評価のためのいくつかの新しいベンチマークを導入します。
私たちは、Arboretum が害虫駆除戦略、作物の監視、世界規模の生物多様性評価や環境保全に至るまでのさまざまなデジタル ツールを可能にする AI モデルの開発を促進すると期待しています。
これらの進歩は、食料安全保障の確保、生態系の保護、気候変動の影響の緩和にとって極めて重要です。
樹木園は一般に公開されており、簡単にアクセスでき、すぐに使用できます。
データ、モデル、コードへのリンクについては、\href{https://baskargroup.github.io/Arboretum/}{プロジェクト Web サイト}をご覧ください。

要約(オリジナル)

We introduce Arboretum, the largest publicly accessible dataset designed to advance AI for biodiversity applications. This dataset, curated from the iNaturalist community science platform and vetted by domain experts to ensure accuracy, includes 134.6 million images, surpassing existing datasets in scale by an order of magnitude. The dataset encompasses image-language paired data for a diverse set of species from birds (Aves), spiders/ticks/mites (Arachnida), insects (Insecta), plants (Plantae), fungus/mushrooms (Fungi), snails (Mollusca), and snakes/lizards (Reptilia), making it a valuable resource for multimodal vision-language AI models for biodiversity assessment and agriculture research. Each image is annotated with scientific names, taxonomic details, and common names, enhancing the robustness of AI model training. We showcase the value of Arboretum by releasing a suite of CLIP models trained using a subset of 40 million captioned images. We introduce several new benchmarks for rigorous assessment, report accuracy for zero-shot learning, and evaluations across life stages, rare species, confounding species, and various levels of the taxonomic hierarchy. We anticipate that Arboretum will spur the development of AI models that can enable a variety of digital tools ranging from pest control strategies, crop monitoring, and worldwide biodiversity assessment and environmental conservation. These advancements are critical for ensuring food security, preserving ecosystems, and mitigating the impacts of climate change. Arboretum is publicly available, easily accessible, and ready for immediate use. Please see the \href{https://baskargroup.github.io/Arboretum/}{project website} for links to our data, models, and code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google