EgoHDM: An Online Egocentric-Inertial Human Motion Capture, Localization, and Dense Mapping System

要約

オンラインの自己中心的慣性ヒューマン モーション キャプチャ (モーション キャプチャ)、位置特定、および高密度マッピング システムである EgoHDM を紹介します。
当社のシステムは、6 つの慣性測定ユニット (IMU) と汎用のヘッドマウント RGB カメラを使用しています。
EgoHDM は、ほぼリアルタイムで高密度のシーン マッピングを提供する初のヒューマン モーション キャプチャ システムです。
さらに、初期化が高速かつ堅牢であり、物理的に妥当なマップ対応のグローバルな人間の動きの推定とモーションキャプチャ対応の 3D シーン再構成の間のループを完全に閉じます。
私たちの重要なアイデアは、カメラの位置特定とマッピング情報を人間の慣性モーション キャプチャと双方向でシステムに統合することです。
これを達成するために、ローカルの身体中心の標高マップを活用して、モーションキャップ対応の密なバンドル調整と物理ベースの身体ポーズ補正モジュールを密結合して設計します。
後者では、新しい地形認識接触型 PD コントローラーが導入されており、これによりキャラクターが特定のローカル標高マップに物理的に接触できるようになり、人間の浮きや侵入が軽減されます。
私たちは、確立された合成ベンチマークと現実世界のベンチマークでシステムのパフォーマンスを実証します。
結果は、私たちの方法が、最新技術と比較して、人間の位置特定、カメラの姿勢、およびマッピング精度の誤差をそれぞれ 41%、71%、46% 削減することを示しています。
新たに取得したデータに対する定性的評価により、EgoHDM が階段のまたぎや野外の屋外シーンなど、平坦でない地形での困難なシナリオをカバーできることがさらに実証されました。

要約(オリジナル)

We present EgoHDM, an online egocentric-inertial human motion capture (mocap), localization, and dense mapping system. Our system uses 6 inertial measurement units (IMUs) and a commodity head-mounted RGB camera. EgoHDM is the first human mocap system that offers dense scene mapping in near real-time. Further, it is fast and robust to initialize and fully closes the loop between physically plausible map-aware global human motion estimation and mocap-aware 3D scene reconstruction. Our key idea is integrating camera localization and mapping information with inertial human motion capture bidirectionally in our system. To achieve this, we design a tightly coupled mocap-aware dense bundle adjustment and physics-based body pose correction module leveraging a local body-centric elevation map. The latter introduces a novel terrain-aware contact PD controller, which enables characters to physically contact the given local elevation map thereby reducing human floating or penetration. We demonstrate the performance of our system on established synthetic and real-world benchmarks. The results show that our method reduces human localization, camera pose, and mapping accuracy error by 41%, 71%, 46%, respectively, compared to the state of the art. Our qualitative evaluations on newly captured data further demonstrate that EgoHDM can cover challenging scenarios in non-flat terrain including stepping over stairs and outdoor scenes in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google