Sim2real Cattle Joint Estimation in 3D point clouds

要約

牛の健康状態を理解することは、農業のさまざまな状況において非常に重要です。
牛の体型と関節の関節は牛の健康に関する重要な情報を伝えますが、3D 体型推定のための包括的なデータセットを取得することは、大きな課題となります。
この研究では、牛に特化したこのようなデータセットの構築について詳しく調査します。
デジタル アーティストの専門知識を活用し、単一のアニメーション 3D モデルを使用して牛の多様な姿勢を表現します。
仮想データと現実世界のデータ間の差異に対処するために、潜在的な身体の外観の範囲を包含するように 3D モデルの形状を拡張し、それによって「sim2real」のギャップを狭めます。
これらの注釈付きモデルを使用して、外部表面の曲率のみに基づいて内部関節を推定できる深層学習フレームワークをトレーニングします。
私たちの貢献は、具体的には、表面多様体上の測地線距離を使用し、マルチラテレーションと組み合わせて、セマンティック キーポイント検出エンコーダ/デコーダ アーキテクチャでジョイントを抽出することです。
実際の牛の暴れ歩きやレース中の歩行から抽出されたリンクの長さを比較することにより、関節抽出の堅牢性を実証します。
さらに、哺乳類の骨の長さと全体の身長の間に確立されたアロメトリックな関係にヒントを得て、推定された関節を利用して実際の牛のデータセット内の股関節の高さを予測し、牛のモニタリングの実践を改善するための洞察を提供するためのアプローチの有用性を拡張します。

要約(オリジナル)

Understanding the well-being of cattle is crucial in various agricultural contexts. Cattle’s body shape and joint articulation carry significant information about their welfare, yet acquiring comprehensive datasets for 3D body pose estimation presents a formidable challenge. This study delves into the construction of such a dataset specifically tailored for cattle. Leveraging the expertise of digital artists, we use a single animated 3D model to represent diverse cattle postures. To address the disparity between virtual and real-world data, we augment the 3D model’s shape to encompass a range of potential body appearances, thereby narrowing the ‘sim2real’ gap. We use these annotated models to train a deep-learning framework capable of estimating internal joints solely based on external surface curvature. Our contribution is specifically the use of geodesic distance over the surface manifold, coupled with multilateration to extract joints in a semantic keypoint detection encoder-decoder architecture. We demonstrate the robustness of joint extraction by comparing the link lengths extracted on real cattle mobbing and walking within a race. Furthermore, inspired by the established allometric relationship between bone length and the overall height of mammals, we utilise the estimated joints to predict hip height within a real cattle dataset, extending the utility of our approach to offer insights into improving cattle monitoring practices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google