HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-body Mesh Recovery

要約

タイトル：HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-body Mesh Recovery
要約：
– 3Dボディの現実的な構造を持つメッシュを視覚的コンテンツから推測することは、抽象的なポーズと形状パラメーターを推測することで可能です。
– しかし、推測プロセスは高度に非線形であり、イメージとメッシュの不整合に苦しんでおり、不正確な再構築を引き起こすことがあります。
– この論文は、3Dキーポイント推定法とボディメッシュ回復の優れた点を統合した新しい逆運動学ソリューション、HybrIKを提供します。HybrIKは、正確な3Dジョイントを体の部位の回転に直接変換します。
– HybrIK-Xは、より包括的な全身の詳細を捉えるために開発された包括的なフレームワークであり、可動式の手と表情豊かな顔を備えています。ワンステージモデルにより、HybrIK-Xは速く正確に全身のポーズを解決します。
– 実験結果により、HybrIKとHybrIK-Xは、3Dジョイントの精度とパラメトリック人物モデルの現実的な構造の両方を保持し、ピクセルに整合した全身メッシュ回復を実現し、ボディ、手、全身シナリオのさまざまなベンチマークにおいて、従来法よりも優れた結果を示しました。

要約(オリジナル)

Recovering whole-body mesh by inferring the abstract pose and shape parameters from visual content can obtain 3D bodies with realistic structures. However, the inferring process is highly non-linear and suffers from image-mesh misalignment, resulting in inaccurate reconstruction. In contrast, 3D keypoint estimation methods utilize the volumetric representation to achieve pixel-level accuracy but may predict unrealistic body structures. To address these issues, this paper presents a novel hybrid inverse kinematics solution, HybrIK, that integrates the merits of 3D keypoint estimation and body mesh recovery in a unified framework. HybrIK directly transforms accurate 3D joints to body-part rotations via twist-and-swing decomposition. The swing rotations are analytically solved with 3D joints, while the twist rotations are derived from visual cues through neural networks. To capture comprehensive whole-body details, we further develop a holistic framework, HybrIK-X, which enhances HybrIK with articulated hands and an expressive face. HybrIK-X is fast and accurate by solving the whole-body pose with a one-stage model. Experiments demonstrate that HybrIK and HybrIK-X preserve both the accuracy of 3D joints and the realistic structure of the parametric human model, leading to pixel-aligned whole-body mesh recovery. The proposed method significantly surpasses the state-of-the-art methods on various benchmarks for body-only, hand-only, and whole-body scenarios. Code and results can be found at https://jeffli.site/HybrIK-X/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI