3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking

要約

動物の姿勢追跡のためのマーカーレス手法は最近開発されていますが、3D で大型動物のグループを追跡するためのフレームワークとベンチマークはまだ不足しています。
文献におけるこのギャップを克服するために、マルチビューを使用してインタラクティブな速度で最大 10 羽のハトの 3D ポーズを推定および追跡するフレームワークである 3D-MuPPET を紹介します。
姿勢推定器をトレーニングして、複数のハトの 2D キーポイントと境界ボックスを推測し、キーポイントを 3D に三角測量します。
対応関係の照合では、まず最初のフレームで 2D 検出をグローバル ID と動的に照合し、次に 2D トラッカーを使用して後続のフレームのビュー全体で対応関係を維持します。
二乗平均平方根誤差 (RMSE) および正しいキーポイントの割合 (PCK) に関して、最先端の 3D 姿勢推定器と同等の精度を達成します。
また、単一のハトのデータでトレーニングされたモデルが複数のハトを含むデータで同等の結果を提供する新しいユースケースも紹介します。
これにより、単一動物のデータに注釈を付ける方が複数の動物のデータよりも労力がかからないため、新しい種へのドメインの移行が簡素化されます。
さらに、2D で最大 10 fps、3D で 1.5 fps の 3D-MuPPET の推論速度をベンチマークし、定量的な追跡評価を実行し、有望な結果が得られました。
最後に、追加のアノテーションでモデルを微調整しなくても、3D-MuPPET が自然環境でも動作することを示します。
私たちの知る限りでは、屋内と屋外の両方の環境で機能する 2D/3D 姿勢と軌道追跡のフレームワークを初めて提示しました。

要約(オリジナル)

Markerless methods for animal posture tracking have been developing recently, but frameworks and benchmarks for tracking large animal groups in 3D are still lacking. To overcome this gap in the literature, we present 3D-MuPPET, a framework to estimate and track 3D poses of up to 10 pigeons at interactive speed using multiple-views. We train a pose estimator to infer 2D keypoints and bounding boxes of multiple pigeons, then triangulate the keypoints to 3D. For correspondence matching, we first dynamically match 2D detections to global identities in the first frame, then use a 2D tracker to maintain correspondences accross views in subsequent frames. We achieve comparable accuracy to a state of the art 3D pose estimator for Root Mean Square Error (RMSE) and Percentage of Correct Keypoints (PCK). We also showcase a novel use case where our model trained with data of single pigeons provides comparable results on data containing multiple pigeons. This can simplify the domain shift to new species because annotating single animal data is less labour intensive than multi-animal data. Additionally, we benchmark the inference speed of 3D-MuPPET, with up to 10 fps in 2D and 1.5 fps in 3D, and perform quantitative tracking evaluation, which yields encouraging results. Finally, we show that 3D-MuPPET also works in natural environments without model fine-tuning on additional annotations. To the best of our knowledge we are the first to present a framework for 2D/3D posture and trajectory tracking that works in both indoor and outdoor environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google