CVB: A Video Dataset of Cattle Visual Behaviors

要約

牛の行動を認識するための既存の画像／映像データセットは、ほとんどが小規模で、明確なラベルがなく、非現実的な管理環境で収集されている。このため、これらから学習される機械学習（ML）モデルの実用性は限定的である。そこで我々は、自然光の下で撮影され、放牧牛の11の視覚的に知覚可能な行動が注釈された、それぞれ15秒間の502のビデオクリップからなる、Cattle Visual Behaviors（CVB）と呼ばれる新しいデータセットを紹介する。アノテーションの収集には、Computer Vision Annotation Tool（CVAT）を使用した。この手順をより効率的にするために、事前に訓練された適切なモデルを用いて、ビデオ内の牛の検出と追跡を最初に行う。この結果は、CVATで牛の行動ラベリングとともに、領域の専門家によって修正されます。事前の検出と追跡のステップにより、手作業によるアノテーションの時間と労力が大幅に削減されます。さらに、CVBをatomic visual action (AVA)フォーマットに変換し、その上で一般的なSlowFast行動認識モデルを訓練・評価する。関連する予備的な結果から、牛の位置を特定し、頻繁に発生する行動を確実に認識できることが確認された。CVBを作成し共有することで、全ての重要な行動を正確に認識できる改良されたモデルを開発し、ビデオデータを用いた牛の行動分類のための新しいMLモデルの開発と評価において、他の研究者や実務者を支援することが我々の目的である。

要約(オリジナル)

Existing image/video datasets for cattle behavior recognition are mostly small, lack well-defined labels, or are collected in unrealistic controlled environments. This limits the utility of machine learning (ML) models learned from them. Therefore, we introduce a new dataset, called Cattle Visual Behaviors (CVB), that consists of 502 video clips, each fifteen seconds long, captured in natural lighting conditions, and annotated with eleven visually perceptible behaviors of grazing cattle. We use the Computer Vision Annotation Tool (CVAT) to collect our annotations. To make the procedure more efficient, we perform an initial detection and tracking of cattle in the videos using appropriate pre-trained models. The results are corrected by domain experts along with cattle behavior labeling in CVAT. The pre-hoc detection and tracking step significantly reduces the manual annotation time and effort. Moreover, we convert CVB to the atomic visual action (AVA) format and train and evaluate the popular SlowFast action recognition model on it. The associated preliminary results confirm that we can localize the cattle and recognize their frequently occurring behaviors with confidence. By creating and sharing CVB, our aim is to develop improved models capable of recognizing all important behaviors accurately and to assist other researchers and practitioners in developing and evaluating new ML models for cattle behavior classification using video data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL