3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking

要約

動物の姿勢追跡のためのマーカーレス手法は最近急速に開発されていますが、3D で大型動物のグループを追跡するためのフレームワークとベンチマークはまだ不足しています。
文献におけるこのギャップを克服するために、複数のカメラビューを使用してインタラクティブな速度で最大 10 羽のハトの 3D ポーズを推定および追跡するフレームワークである 3D-MuPPET を紹介します。
姿勢推定器をトレーニングして、複数のハトの 2D キーポイントと境界ボックスを推測し、キーポイントを 3D に三角測量します。
すべてのビュー内の個人の ID 照合では、まず最初のフレームで 2D 検出をグローバル ID に動的に照合し、次に 2D トラッカーを使用して後続のフレームでビュー全体の ID を維持します。
中央値誤差と正しいキーポイントの割合に関して、最先端の 3D 姿勢推定器と同等の精度を達成します。
さらに、2D で最大 9.45 fps、3D で 1.89 fps の 3D-MuPPET の推論速度をベンチマークし、定量的な追跡評価を実行し、有望な結果が得られました。
最後に、3D-MuPPET 用の 2 つの新しいアプリケーションを紹介します。
まず、1 羽のハトのデータを使用してモデルをトレーニングし、最大 5 羽のハトの 2D および 3D 姿勢推定で同等の結果を達成します。
次に、3D-MuPPET は自然環境からの追加のアノテーションなしで屋外でも機能することを示します。
どちらのユースケースも、新しい種や環境へのドメインの移行を簡素化し、3D 姿勢追跡に必要なアノテーションの労力を大幅に削減します。
私たちの知る限り、屋内と屋外の両方の環境で最大 10 頭まで機能する 2D/3D 動物の姿勢と軌道追跡のフレームワークを初めて提示しました。
私たちは、このフレームワークが動物の集団行動の研究に新たな機会をもたらし、3D 複数動物の姿勢追跡のさらなる発展を促進することを期待しています。

要約(オリジナル)

Markerless methods for animal posture tracking have been rapidly developing recently, but frameworks and benchmarks for tracking large animal groups in 3D are still lacking. To overcome this gap in the literature, we present 3D-MuPPET, a framework to estimate and track 3D poses of up to 10 pigeons at interactive speed using multiple camera views. We train a pose estimator to infer 2D keypoints and bounding boxes of multiple pigeons, then triangulate the keypoints to 3D. For identity matching of individuals in all views, we first dynamically match 2D detections to global identities in the first frame, then use a 2D tracker to maintain IDs across views in subsequent frames. We achieve comparable accuracy to a state of the art 3D pose estimator in terms of median error and Percentage of Correct Keypoints. Additionally, we benchmark the inference speed of 3D-MuPPET, with up to 9.45 fps in 2D and 1.89 fps in 3D, and perform quantitative tracking evaluation, which yields encouraging results. Finally, we showcase two novel applications for 3D-MuPPET. First, we train a model with data of single pigeons and achieve comparable results in 2D and 3D posture estimation for up to 5 pigeons. Second, we show that 3D-MuPPET also works in outdoors without additional annotations from natural environments. Both use cases simplify the domain shift to new species and environments, largely reducing annotation effort needed for 3D posture tracking. To the best of our knowledge we are the first to present a framework for 2D/3D animal posture and trajectory tracking that works in both indoor and outdoor environments for up to 10 individuals. We hope that the framework can open up new opportunities in studying animal collective behaviour and encourages further developments in 3D multi-animal posture tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google