TRAM: Global Trajectory and Motion of 3D Humans from in-the-wild Videos

要約

我々はTRAMを提案する。TRAMはSLAMをロバスト化し、動きのある人間の存在下でカメラの動きを復元する。TRAMは、SLAMをロバスト化し、動的な人間の存在下でカメラの動きを復元し、シーン背景を用いて動きのスケールを導出する。復元されたカメラをメトリックスケールの参照フレームとして使用し、人間の運動学的身体運動を回帰するためにビデオ変換モデル（VIMO）を導入する。この2つの運動を合成することで、ワールド空間における3D人間の正確な復元を達成し、先行研究よりも大域的な運動誤差を大幅に低減する。https://yufu-wang.github.io/tram4d/

要約(オリジナル)

We propose TRAM, a two-stage method to reconstruct a human’s global trajectory and motion from in-the-wild videos. TRAM robustifies SLAM to recover the camera motion in the presence of dynamic humans and uses the scene background to derive the motion scale. Using the recovered camera as a metric-scale reference frame, we introduce a video transformer model (VIMO) to regress the kinematic body motion of a human. By composing the two motions, we achieve accurate recovery of 3D humans in the world space, reducing global motion errors by a large margin from prior work. https://yufu-wang.github.io/tram4d/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL