Animal Kingdom: A Large and Diverse Dataset for Animal Behavior Understanding

要約

動物の行動を理解することは、幅広いアプリケーションにとって重要です。
ただし、既存の動物行動データセットには、限られた数の動物クラス、データサンプル、提供されるタスク、環境条件や視点の限られたバリエーションなど、複数の側面で制限があります。
これらの制限に対処するために、大規模で多様なデータセットであるAnimal Kingdomを作成します。このデータセットは、複数の注釈付きタスクを提供して、自然な動物の行動をより完全に理解できるようにします。
私たちのデータセットで使用されている野生動物の映像は、背景、視点、照明、気象条件の変化を含む広範囲の環境で1日のさまざまな時間を記録しています。
より具体的には、私たちのデータセットには、ビデオ接地タスク用の長いビデオ、きめの細かいマルチラベルアクション認識タスク用の30Kビデオシーケンス、およびポーズ推定タスク用の33Kフレームで、関連する動物の行動セグメントをローカライズするための50時間の注釈付きビデオが含まれています。
これは、6つの主要な動物クラスにわたる850種の多様な動物に対応します。
そのような挑戦的で包括的なデータセットは、コミュニティが動物行動分析のためのさまざまなタイプの高度な方法を開発、適応、および評価するのを容易にすることができなければなりません。
さらに、我々は、目に見えない新しい動物との行動認識のための一般的および特定の機能を学習する協調行動認識（CARe）モデルを提案します。
この方法は、私たちの実験で有望なパフォーマンスを達成します。
私たちのデータセットはhttps://sutdcv.github.io/Animal-Kingdomにあります。

要約(オリジナル)

Understanding animals’ behaviors is significant for a wide range of applications. However, existing animal behavior datasets have limitations in multiple aspects, including limited numbers of animal classes, data samples and provided tasks, and also limited variations in environmental conditions and viewpoints. To address these limitations, we create a large and diverse dataset, Animal Kingdom, that provides multiple annotated tasks to enable a more thorough understanding of natural animal behaviors. The wild animal footages used in our dataset record different times of the day in extensive range of environments containing variations in backgrounds, viewpoints, illumination and weather conditions. More specifically, our dataset contains 50 hours of annotated videos to localize relevant animal behavior segments in long videos for the video grounding task, 30K video sequences for the fine-grained multi-label action recognition task, and 33K frames for the pose estimation task, which correspond to a diverse range of animals with 850 species across 6 major animal classes. Such a challenging and comprehensive dataset shall be able to facilitate the community to develop, adapt, and evaluate various types of advanced methods for animal behavior analysis. Moreover, we propose a Collaborative Action Recognition (CARe) model that learns general and specific features for action recognition with unseen new animals. This method achieves promising performance in our experiments. Our dataset can be found at https://sutdcv.github.io/Animal-Kingdom.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google