3D Kinematics Estimation from Video with a Biomechanical Model and Synthetic Training Data

要約

人体の正確な 3D 運動学推定は、運動中に経験する生体力学的な負荷を理解するのに役立つため、リハビリテーション、傷害予防、診断など、人間の健康と移動に関するさまざまなアプリケーションにおいて極めて重要です。
従来のマーカーベースのモーション キャプチャは、金銭的投資、時間、必要な専門知識の点で高価です。
さらに、正確なアノテーションを備えたデータセットが不足しているため、既存のマーカーレス モーション キャプチャ方法は、信頼性の低い 2D キーポイント検出、限られた解剖学的精度、低い汎化機能などの課題を抱えています。
この研究では、生体力学の事前情報と時空間情報を考慮して、2 つの入力ビューから 3D 運動学を直接出力する、新しい生体力学を意識したネットワークを提案します。
モデルをトレーニングするために、SMPL-X モデルと全身 OpenSim 骨格モデルからのボディ メッシュを位置合わせすることによって生成された正確な運動学アノテーションを備えた合成データセット ODAH を作成します。
私たちの広範な実験により、合成データのみでトレーニングされた提案されたアプローチが、複数のデータセットにわたって評価された場合に以前の最先端の方法よりも優れていることが実証され、ビデオベースのヒューマン モーション キャプチャを強化するための有望な方向性が明らかになりました。

要約(オリジナル)

Accurate 3D kinematics estimation of human body is crucial in various applications for human health and mobility, such as rehabilitation, injury prevention, and diagnosis, as it helps to understand the biomechanical loading experienced during movement. Conventional marker-based motion capture is expensive in terms of financial investment, time, and the expertise required. Moreover, due to the scarcity of datasets with accurate annotations, existing markerless motion capture methods suffer from challenges including unreliable 2D keypoint detection, limited anatomic accuracy, and low generalization capability. In this work, we propose a novel biomechanics-aware network that directly outputs 3D kinematics from two input views with consideration of biomechanical prior and spatio-temporal information. To train the model, we create synthetic dataset ODAH with accurate kinematics annotations generated by aligning the body mesh from the SMPL-X model and a full-body OpenSim skeletal model. Our extensive experiments demonstrate that the proposed approach, only trained on synthetic data, outperforms previous state-of-the-art methods when evaluated across multiple datasets, revealing a promising direction for enhancing video-based human motion capture

arxiv情報

提供元, 利用サービス

arxiv.jp, Google