EgoLocate: Real-time Motion Capture, Localization, and Mapping with Sparse Body-mounted Sensors

要約

【タイトル】EgoLocate：スパースなボディマウントセンサーを使用したリアルタイムモーションキャプチャ、位置特定、マッピング

【要約】

– コンピュータビジョンとグラフィックスにおいて、人間と環境のセンシングは2つの重要なトピックです。
– 人間のモーションは慣性センサによって捉えられ、一方、環境は主にカメラを使用して再構築されます。
– EgoLocateは、6つの慣性計測ユニット（IMU）とモノクルの電話カメラを含むスパースなボディマウントセンサーからリアルタイムに人間のモーションキャプチャ（mocap）、位置特定、およびマッピングを同時に実行するシステムです。
– 一方、慣性モーションキャプチャは、グローバルな位置信号の欠如による大きな移動のドリフトに苦しんでいます。EgoLocateは、画像ベースの同時位置特定とマッピング（SLAM）技術を活用して、再構築されたシーン内の人物を特定します。
– 一方、SLAMは、視覚的特徴が貧弱な場合にしばしば失敗します。EgoLocateには、カメラの動きの強力な先行情報を提供するために、慣性モーションキャプチャが含まれています。
– 実験により、2つの分野の鍵となる課題である位置特定は、当技術によって大幅に改善され、2つの分野の最先端と比較しています。
– 当技術のコードは、https://xinyu-yi.github.io/EgoLocate/で研究用に公開されています。

要約(オリジナル)

Human and environment sensing are two important topics in Computer Vision and Graphics. Human motion is often captured by inertial sensors, while the environment is mostly reconstructed using cameras. We integrate the two techniques together in EgoLocate, a system that simultaneously performs human motion capture (mocap), localization, and mapping in real time from sparse body-mounted sensors, including 6 inertial measurement units (IMUs) and a monocular phone camera. On one hand, inertial mocap suffers from large translation drift due to the lack of the global positioning signal. EgoLocate leverages image-based simultaneous localization and mapping (SLAM) techniques to locate the human in the reconstructed scene. On the other hand, SLAM often fails when the visual feature is poor. EgoLocate involves inertial mocap to provide a strong prior for the camera motion. Experiments show that localization, a key challenge for both two fields, is largely improved by our technique, compared with the state of the art of the two fields. Our codes are available for research at https://xinyu-yi.github.io/EgoLocate/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI