EgoBody: Human Body Shape and Motion of Interacting People from Head-Mounted Devices

要約

自己中心的な視点から社会的相互作用を理解することは、支援ロボットから AR/VR に至るまで、多くのアプリケーションにとって重要です。
インタラクションを推論するための鍵は、自己中心的な視点からインタラクション パートナーの身体のポーズと動きを理解することです。
ただし、この分野の研究は、データセットの不足によって大きく妨げられています。
既存のデータセットは、サイズ、キャプチャ/注釈のモダリティ、グラウンド トゥルースの品質、または相互作用の多様性のいずれかの点で制限されています。
このギャップを埋めるために、複雑な 3D シーンでのインタラクション中に、自己中心的なビューから人間のポーズ、形状、およびモーションを推定するための新しい大規模データセットである EgoBody を提案します。
Microsoft HoloLens2 ヘッドセットを使用して、豊富な自己中心的なデータ ストリーム (RGB、深度、視線、頭と手の追跡を含む) を記録します。
正確な 3D グラウンド トゥルースを取得するために、マルチ Kinect リグを使用してヘッドセットを調整し、表現力豊かな SMPL-X ボディ メッシュをマルチビュー RGB-D フレームに適合させ、3D 人間の形状とポーズをシーンに相対的に再構築します。
多様なインタラクション シナリオにまたがる 125 のシーケンスを収集し、自己中心的なビューからのソーシャル パートナーの 3D 全身ポーズと形状推定の最初のベンチマークを提案します。
最先端の方法を広く評価し、自己中心的なシナリオでの制限を強調し、高品質の注釈を活用してそのような制限に対処します。
データとコードは https://sanweiliti.github.io/egobody/egobody.html で入手できます。

要約(オリジナル)

Understanding social interactions from egocentric views is crucial for many applications, ranging from assistive robotics to AR/VR. Key to reasoning about interactions is to understand the body pose and motion of the interaction partner from the egocentric view. However, research in this area is severely hindered by the lack of datasets. Existing datasets are limited in terms of either size, capture/annotation modalities, ground-truth quality, or interaction diversity. We fill this gap by proposing EgoBody, a novel large-scale dataset for human pose, shape and motion estimation from egocentric views, during interactions in complex 3D scenes. We employ Microsoft HoloLens2 headsets to record rich egocentric data streams (including RGB, depth, eye gaze, head and hand tracking). To obtain accurate 3D ground truth, we calibrate the headset with a multi-Kinect rig and fit expressive SMPL-X body meshes to multi-view RGB-D frames, reconstructing 3D human shapes and poses relative to the scene, over time. We collect 125 sequences, spanning diverse interaction scenarios, and propose the first benchmark for 3D full-body pose and shape estimation of the social partner from egocentric views. We extensively evaluate state-of-the-art methods, highlight their limitations in the egocentric scenario, and address such limitations leveraging our high-quality annotations. Data and code are available at https://sanweiliti.github.io/egobody/egobody.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google