Synergistic Global-space Camera and Human Reconstruction from Videos

要約

単眼ビデオから静止シーンや人体を再構成することは、目覚ましい進歩を遂げています。
しかし、この 2 つの問題は主に独立して対処されており、相乗効果はあまりありません。
ほとんどの視覚的 SLAM 手法は、カメラの軌跡とシーン構造をスケールまでしか再構築できませんが、ほとんどの HMR 手法は人間のメッシュをメートルスケールで再構築しますが、カメラとシーンを使った推論には不十分です。
この作品では、両方の長所を融合するための Synergistic Camera and Human Reconstruction (SynCHMR) が導入されています。
具体的には、カメラフレーム HMR を強力な事前分布として使用して、メートルスケールのカメラポーズとシーン点群を再構築し、深さ、スケール、および動的な曖昧さに対処する人間認識メトリック SLAM を設計します。
復元された高密度シーンを条件として、シーン認識 SMPL デノイザーをさらに学習し、時空間コヒーレンスと動的なシーン制約を組み込むことでワールド フレーム HMR を強化します。
これらを組み合わせることで、カメラの軌跡、人間のメッシュ、および密集したシーンの点群が共通のワールド フレーム内で一貫して再構築されます。
プロジェクトページ: https://paulchhuang.github.io/synchmr

要約(オリジナル)

Remarkable strides have been made in reconstructing static scenes or human bodies from monocular videos. Yet, the two problems have largely been approached independently, without much synergy. Most visual SLAM methods can only reconstruct camera trajectories and scene structures up to scale, while most HMR methods reconstruct human meshes in metric scale but fall short in reasoning with cameras and scenes. This work introduces Synergistic Camera and Human Reconstruction (SynCHMR) to marry the best of both worlds. Specifically, we design Human-aware Metric SLAM to reconstruct metric-scale camera poses and scene point clouds using camera-frame HMR as a strong prior, addressing depth, scale, and dynamic ambiguities. Conditioning on the dense scene recovered, we further learn a Scene-aware SMPL Denoiser to enhance world-frame HMR by incorporating spatio-temporal coherency and dynamic scene constraints. Together, they lead to consistent reconstructions of camera trajectories, human meshes, and dense scene point clouds in a common world frame. Project page: https://paulchhuang.github.io/synchmr

arxiv情報

提供元, 利用サービス

arxiv.jp, Google