D&D: Learning Human Dynamics from Dynamic Camera

要約

単眼ビデオからの 3D 人間の姿勢推定は、最近大幅に改善されました。
ただし、ほとんどの最先端の方法は運動学に基づいており、顕著なアーティファクトを伴う物理的に信じられない動きになりがちです。
現在のダイナミクス ベースの方法は、物理的にもっともらしい動きを予測できますが、静的なカメラ ビューを使用した単純なシナリオに限定されます。
この作業では、D&D (ダイナミック カメラからの人間のダイナミクスの学習) を提示します。これは、物理法則を活用して、移動カメラを使用して野生のビデオから 3D 人間の動きを再構築します。
D&D は慣性力制御 (IFC) を導入して、動的カメラの慣性力を考慮することにより、非慣性ローカル座標系での 3D 人間の動きを説明します。
限られた注釈で地面との接触を学習するために、確率的接触トルク (PCT) を開発します。これは、接触確率からの微分可能なサンプリングによって計算され、モーションの生成に使用されます。
モデルが正しい運動を生成するように促すことで、接触状態を弱く監視することができます。
さらに、時間情報を使用してターゲットの姿勢状態を調整し、滑らかで正確な姿勢制御を取得する、注意深い PD コントローラーを提案します。
私たちのアプローチは完全にニューラル ベースであり、オフラインの最適化や物理エンジンでのシミュレーションなしで実行されます。
大規模な 3D 人間の動きのベンチマークに関する実験は、D&D の有効性を示しており、最先端のキネマティクス ベースの方法とダイナミクス ベースの方法の両方に対して優れたパフォーマンスを示しています。
コードは https://github.com/Jeffsjtu/DnD で入手できます

要約(オリジナル)

3D human pose estimation from a monocular video has recently seen significant improvements. However, most state-of-the-art methods are kinematics-based, which are prone to physically implausible motions with pronounced artifacts. Current dynamics-based methods can predict physically plausible motion but are restricted to simple scenarios with static camera view. In this work, we present D&D (Learning Human Dynamics from Dynamic Camera), which leverages the laws of physics to reconstruct 3D human motion from the in-the-wild videos with a moving camera. D&D introduces inertial force control (IFC) to explain the 3D human motion in the non-inertial local frame by considering the inertial forces of the dynamic camera. To learn the ground contact with limited annotations, we develop probabilistic contact torque (PCT), which is computed by differentiable sampling from contact probabilities and used to generate motions. The contact state can be weakly supervised by encouraging the model to generate correct motions. Furthermore, we propose an attentive PD controller that adjusts target pose states using temporal information to obtain smooth and accurate pose control. Our approach is entirely neural-based and runs without offline optimization or simulation in physics engines. Experiments on large-scale 3D human motion benchmarks demonstrate the effectiveness of D&D, where we exhibit superior performance against both state-of-the-art kinematics-based and dynamics-based methods. Code is available at https://github.com/Jeffsjtu/DnD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google