OpenApePose: a database of annotated ape photographs for pose estimation

要約

ヒト以外の類人猿（チンパンジー、ボノボ、ゴリラ、オランウータン、シャマンを含むテナガザル）は、人間と密接な関係にあるため、科学的に大きな関心を集めています。
彼らの複雑な行動を理解するという目標は、ビデオベースのポーズ追跡を実行できる機能によって大幅に前進します。
ただし、追跡には、類人猿の写真の高品質の注釈付きデータセットが必要です。
ここでは、自然主義的な文脈における 6 つの類人猿の、16 の体のランドマークで注釈が付けられた 71,868 枚の写真の新しい公開データセットである OpenApePose を紹介します。
類人猿の写真でトレーニングされた標準的なディープ ネット (HRNet-W48) は、サル (特に OpenMonkeyPose データセット) や人間 (COCO) でトレーニングされたネットワークよりも、サンプル外の類人猿の写真を確実に追跡できることを示します。
この訓練されたネットワークは、他のネットワークがそれぞれの分類群を追跡できるのとほぼ同じように類人猿を追跡でき、6 つの類人猿のうちの 1 種を使用せずに訓練されたモデルは、サルや人間のモデルよりも優れた種を追跡できます。
最終的に、私たちの分析結果は、動物追跡システムにとって大規模な専門データベースの重要性を強調し、新しい類人猿データベースの有用性を裏付けています。

要約(オリジナル)

Because of their close relationship with humans, non-human apes (chimpanzees, bonobos, gorillas, orangutans, and gibbons, including siamangs) are of great scientific interest. The goal of understanding their complex behavior would be greatly advanced by the ability to perform video-based pose tracking. Tracking, however, requires high-quality annotated datasets of ape photographs. Here we present OpenApePose, a new public dataset of 71,868 photographs, annotated with 16 body landmarks, of six ape species in naturalistic contexts. We show that a standard deep net (HRNet-W48) trained on ape photos can reliably track out-of-sample ape photos better than networks trained on monkeys (specifically, the OpenMonkeyPose dataset) and on humans (COCO) can. This trained network can track apes almost as well as the other networks can track their respective taxa, and models trained without one of the six ape species can track the held out species better than the monkey and human models can. Ultimately, the results of our analyses highlight the importance of large specialized databases for animal tracking systems and confirm the utility of our new ape database.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google