UniHands: Unifying Various Wild-Collected Keypoints for Personalized Hand Reconstruction

要約

正確な手のモーション キャプチャと標準化された 3D 表現は、手に関連するさまざまなタスクに不可欠です。
キーポイントのみのデータを収集すると、効率的で費用対効果が高くなりますが、表現の忠実度が低くなり、表面情報が欠落します。
さらに、ソース間のデータの不一致により、その統合と使用が困難になります。
さまざまなソースから野生で収集されたキーポイントから、標準化されながらもパーソナライズされた手のモデルを作成するための新しい方法である UniHands を紹介します。
既存のニューラル暗黙的表現方法とは異なり、UniHands は広く採用されているパラメトリック モデル MANO および NIMBLE を使用し、よりスケーラブルで汎用性の高いソリューションを提供します。
また、メッシュから統合された手の関節を導出し、さまざまな手に関連するタスクへのシームレスな統合を促進します。
FreiHAND および InterHand2.6M データセットの実験では、ハンド メッシュの頂点とキーポイントを正確に再構築し、高度な関節運動を効果的にキャプチャする能力を実証しました。
9 人の参加者を対象とした実証研究では、精度と自然さの観点から、既存の構成よりも当社の統合ジョイントが明らかに好まれていることが示されています (p 値 0.016)。

要約(オリジナル)

Accurate hand motion capture and standardized 3D representation are essential for various hand-related tasks. Collecting keypoints-only data, while efficient and cost-effective, results in low-fidelity representations and lacks surface information. Furthermore, data inconsistencies across sources challenge their integration and use. We present UniHands, a novel method for creating standardized yet personalized hand models from wild-collected keypoints from diverse sources. Unlike existing neural implicit representation methods, UniHands uses the widely-adopted parametric models MANO and NIMBLE, providing a more scalable and versatile solution. It also derives unified hand joints from the meshes, which facilitates seamless integration into various hand-related tasks. Experiments on the FreiHAND and InterHand2.6M datasets demonstrate its ability to precisely reconstruct hand mesh vertices and keypoints, effectively capturing high-degree articulation motions. Empirical studies involving nine participants show a clear preference for our unified joints over existing configurations for accuracy and naturalism (p-value 0.016).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google