MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints

要約

この研究は、手の動きの生理学的側面を考慮した視覚的な手のダイナミクス分析のための新しい学習フレームワークを提案します。
既存のモデルは関節駆動システムを簡略化したものであり、不自然な動作が発生することがよくあります。
これに対処するために、筋骨格系と学習可能なパラメトリックハンドモデル MANO を統合して、新しいモデル MS-MANO を作成しました。
このモデルは、筋肉と腱のダイナミクスをエミュレートして骨格系を駆動し、結果として生じるトルク軌道に生理学的に現実的な制約を課します。
さらに、多層パーセプトロン (MLP) ネットワークを通じて初期推定ポーズを洗練する、ループ内シミュレーションのポーズ洗練フレームワーク BioPR を提案します。
MS-MANO の精度と BioPR の有効性の評価は 2 つの別々の部分で行われます。
MS-MANO の精度は MyoSuite と比較され、BioPR の有効性は 2 つの大規模な公開データセットと 2 つの最新の手法に対してベンチマークされます。
結果は、私たちのアプローチがベースライン手法を量的および質的に一貫して改善していることを示しています。

要約(オリジナル)

This work proposes a novel learning framework for visual hand dynamics analysis that takes into account the physiological aspects of hand motion. The existing models, which are simplified joint-actuated systems, often produce unnatural motions. To address this, we integrate a musculoskeletal system with a learnable parametric hand model, MANO, to create a new model, MS-MANO. This model emulates the dynamics of muscles and tendons to drive the skeletal system, imposing physiologically realistic constraints on the resulting torque trajectories. We further propose a simulation-in-the-loop pose refinement framework, BioPR, that refines the initial estimated pose through a multi-layer perceptron (MLP) network. Our evaluation of the accuracy of MS-MANO and the efficacy of the BioPR is conducted in two separate parts. The accuracy of MS-MANO is compared with MyoSuite, while the efficacy of BioPR is benchmarked against two large-scale public datasets and two recent state-of-the-art methods. The results demonstrate that our approach consistently improves the baseline methods both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google