UnrealEgo: A New Dataset for Robust Egocentric 3D Human Motion Capture

要約

UnrealEgo、つまり自己中心的な 3D 人間の姿勢推定のための新しい大規模な自然主義的データセットを紹介します。
UnrealEgo は、制約のない環境で使用できる 2 つの魚眼カメラを備えた眼鏡という高度なコンセプトに基づいています。
仮想プロトタイプを設計し、ステレオ ビュー キャプチャ用の 3D 人体モデルに取り付けます。
次に、人間の動きの大きなコーパスを生成します。
その結果、UnrealEgo は、既存の自己中心的なデータセットの中で最大の種類の動きを備えた野生のステレオ画像を提供する最初のデータセットです。
さらに、ステレオ入力用の 2D キーポイント推定モジュールを考案して 3D 人間の姿勢推定を改善するというシンプルだが効果的なアイデアを備えた新しいベンチマーク方法を提案します。
広範な実験は、私たちのアプローチが以前の最先端の方法よりも質的および量的に優れていることを示しています。
UnrealEgo とソース コードは、プロジェクトの Web ページで入手できます。

要約(オリジナル)

We present UnrealEgo, i.e., a new large-scale naturalistic dataset for egocentric 3D human pose estimation. UnrealEgo is based on an advanced concept of eyeglasses equipped with two fisheye cameras that can be used in unconstrained environments. We design their virtual prototype and attach them to 3D human models for stereo view capture. We next generate a large corpus of human motions. As a consequence, UnrealEgo is the first dataset to provide in-the-wild stereo images with the largest variety of motions among existing egocentric datasets. Furthermore, we propose a new benchmark method with a simple but effective idea of devising a 2D keypoint estimation module for stereo inputs to improve 3D human pose estimation. The extensive experiments show that our approach outperforms the previous state-of-the-art methods qualitatively and quantitatively. UnrealEgo and our source codes are available on our project web page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google