Towards Context-Rich Automated Biodiversity Assessments: Deriving AI-Powered Insights from Camera Trap Data

要約

カメラトラップは生態学的研究に大きな新たな機会をもたらしますが、現在の自動画像分析手法には、影響力のある保全成果をサポートするために必要な文脈の豊かさが欠けていることがよくあります。
ここでは、深層学習ベースの視覚モデルと言語モデルを組み合わせて、カメラトラップからのデータを使用して生態レポートを改善する統合アプローチを紹介します。
我々は 2 段階のシステムを導入します。画像内の種 (哺乳類と鳥類) の位置を特定して分類する YOLOv10-X と、種を識別するために YOLOv10-X バインディング ボックス ラベルを読み取る Phi-3.5 ビジョン命令モデルです。
画像内のオブジェクトを分類するのは困難です。
さらに、Phi-3.5 は植生の種類や時刻などのより広範な変数を検出し、YOLO の種検出出力に豊富な生態学および環境コンテキストを提供します。
結合すると、この出力は複雑なクエリに答えるためにモデルの自然言語システムによって処理され、検索拡張生成 (RAG) を使用して、種の重量や IUCN ステータス (直接視覚的に取得できない情報など) などの外部情報で応答を充実させます。
分析）。
この情報は、構造化されたレポートを自動的に生成するために使用され、生物多様性の関係者に種の豊富さ、分布、動物の行動、生息地の選択などについてのより深い洞察を提供します。
私たちのアプローチは、野生動物管理の意思決定に役立つ、文脈に富んだ物語を提供します。
状況に応じた豊富な洞察を提供することで、私たちのアプローチは手動の労力を軽減するだけでなく、保全におけるタイムリーな意思決定をサポートし、取り組みを事後対応的な管理から事前対応的な管理に移行できる可能性があります。

要約(オリジナル)

Camera traps offer enormous new opportunities in ecological studies, but current automated image analysis methods often lack the contextual richness needed to support impactful conservation outcomes. Here we present an integrated approach that combines deep learning-based vision and language models to improve ecological reporting using data from camera traps. We introduce a two-stage system: YOLOv10-X to localise and classify species (mammals and birds) within images, and a Phi-3.5-vision-instruct model to read YOLOv10-X binding box labels to identify species, overcoming its limitation with hard to classify objects in images. Additionally, Phi-3.5 detects broader variables, such as vegetation type, and time of day, providing rich ecological and environmental context to YOLO’s species detection output. When combined, this output is processed by the model’s natural language system to answer complex queries, and retrieval-augmented generation (RAG) is employed to enrich responses with external information, like species weight and IUCN status (information that cannot be obtained through direct visual analysis). This information is used to automatically generate structured reports, providing biodiversity stakeholders with deeper insights into, for example, species abundance, distribution, animal behaviour, and habitat selection. Our approach delivers contextually rich narratives that aid in wildlife management decisions. By providing contextually rich insights, our approach not only reduces manual effort but also supports timely decision-making in conservation, potentially shifting efforts from reactive to proactive management.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google