MammAlps: A multi-view video behavior monitoring dataset of wild mammals in the Swiss Alps

要約

野生生物の監視は、特に生態系に対する人間の影響の増加に照らして、生態学と理学に不可欠です。
カメラトラップは、生息地中心のセンサーとして浮上しており、最小限の妨害で大規模な野生生物集団の研究を可能にしています。
ただし、注釈付きのビデオデータセットがないため、収集された膨大な量のフィールドワークデータを処理するために必要な強力なビデオ理解モデルの開発が制限されます。
野生動物の行動監視における研究を進めるために、スイス国立公園の9つのカメラトラップからの野生生物行動監視のマルチモーダルおよびマルチビューデータセットであるMammalpsを提示します。
Mammalpsには、オーディオ、2Dセグメンテーションマップ、8.5時間の個々のトラックが種と行動にラベル付けされた8.5時間の個々のトラックを含む14時間以上のビデオが含まれています。
6135の単一動物クリップに基づいて、オーディオ、ビデオ、参照シーンのセグメンテーションマップを入力として使用して、最初の階層およびマルチモーダル動物行動認識ベンチマークを提案します。
さらに、397のマルチビューおよび偽陽性トリガーを含む長期生態学的イベントからの活動、種、個人、および気象条件を特定することを目的とした2番目の生態志向のベンチマークも提案します。
私たちは、両方のタスクが補完的であり、機械学習と生態学の間のギャップを埋めることに貢献することを主張しています。
コードとデータは、https：//github.com/eceo-epfl/mammalpsで入手できます

要約(オリジナル)

Monitoring wildlife is essential for ecology and ethology, especially in light of the increasing human impact on ecosystems. Camera traps have emerged as habitat-centric sensors enabling the study of wildlife populations at scale with minimal disturbance. However, the lack of annotated video datasets limits the development of powerful video understanding models needed to process the vast amount of fieldwork data collected. To advance research in wild animal behavior monitoring we present MammAlps, a multimodal and multi-view dataset of wildlife behavior monitoring from 9 camera-traps in the Swiss National Park. MammAlps contains over 14 hours of video with audio, 2D segmentation maps and 8.5 hours of individual tracks densely labeled for species and behavior. Based on 6135 single animal clips, we propose the first hierarchical and multimodal animal behavior recognition benchmark using audio, video and reference scene segmentation maps as inputs. Furthermore, we also propose a second ecology-oriented benchmark aiming at identifying activities, species, number of individuals and meteorological conditions from 397 multi-view and long-term ecological events, including false positive triggers. We advocate that both tasks are complementary and contribute to bridging the gap between machine learning and ecology. Code and data are available at: https://github.com/eceo-epfl/MammAlps

arxiv情報

提供元, 利用サービス

arxiv.jp, Google