NIKI: Neural Inverse Kinematics with Invertible Neural Networks for 3D Human Pose and Shape Estimation

要約

3D 人間の姿勢と形状の推定の進歩により、最先端の方法はオクルージョンに対して堅牢になるか、非オクルージョンの場合でもピクセル位置合わせの精度を得ることができます。
ただし、堅牢性とメッシュ画像の位置合わせを同時に実現することはできません。
この研究では、双方向エラーをモデル化してオクルージョンに対する堅牢性を向上させ、ピクセル位置合わせの精度を取得する NIKI (Neural Inverse Kinematics with Invertible Neural Network) を紹介します。
NIKI は、可逆ネットワークを使用して順方向プロセスと逆方向プロセスの両方から学習できます。
逆プロセスでは、モデルは、信頼性の高い 3D 人間の姿勢推定のために、妥当な 3D 姿勢集合体から誤差を分離します。
順方向プロセスでは、ゼロエラー境界条件を強制して、信頼性の高いジョイント位置への感度を向上させ、メッシュ画像の位置合わせを改善します。
さらに、NIKI は、解釈性を向上させるために、ツイスト アンド スイング分解を使用して解析的逆運動学アルゴリズムをエミュレートします。
標準ベンチマークと咬合固有ベンチマークの実験により、NIKI の有効性が実証され、堅牢でよく調整された結果が同時に得られます。
コードは https://github.com/Jeff-sjtu/NIKI で入手できます。

要約(オリジナル)

With the progress of 3D human pose and shape estimation, state-of-the-art methods can either be robust to occlusions or obtain pixel-aligned accuracy in non-occlusion cases. However, they cannot obtain robustness and mesh-image alignment at the same time. In this work, we present NIKI (Neural Inverse Kinematics with Invertible Neural Network), which models bi-directional errors to improve the robustness to occlusions and obtain pixel-aligned accuracy. NIKI can learn from both the forward and inverse processes with invertible networks. In the inverse process, the model separates the error from the plausible 3D pose manifold for a robust 3D human pose estimation. In the forward process, we enforce the zero-error boundary conditions to improve the sensitivity to reliable joint positions for better mesh-image alignment. Furthermore, NIKI emulates the analytical inverse kinematics algorithms with the twist-and-swing decomposition for better interpretability. Experiments on standard and occlusion-specific benchmarks demonstrate the effectiveness of NIKI, where we exhibit robust and well-aligned results simultaneously. Code is available at https://github.com/Jeff-sjtu/NIKI

arxiv情報

提供元, 利用サービス

arxiv.jp, Google