EMDB: The Electromagnetic Database of Global 3D Human Pose and Shape in the Wild

要約

私たちは、野生における地球規模の 3D 人間の姿勢と形状の電磁データベースである EMDB を紹介します。
EMDB は、高品質の 3D SMPL ポーズおよび形状パラメータと、自然環境のビデオ用のグローバルなボディおよびカメラの軌跡を含む新しいデータセットです。
私たちは、身体に装着する無線電磁 (EM) センサーと手持ちの iPhone を使用して、合計 58 分間のモーション データを記録し、81 の屋内および屋外シーケンスと 10 人の参加者に分散させました。
正確な体のポーズと形状とともに、グローバルなカメラのポーズと体のルートの軌道も提供します。
EMDB を構築するために、最初に SMPL を 6-DoF EM 測定に適合させ、次に画像観察によって姿勢を調整する多段階最適化手順を提案します。
高品質の結果を達成するために、神経暗黙的アバター モデルを活用して人間の表面の詳細な形状と外観を再構築します。これにより、高密度のピクセル レベルの対物レンズによって位置合わせと滑らかさが向上します。
マルチビューボリュームキャプチャシステムを使用して実施された私たちの評価では、EMDB の予想精度は位置誤差 2.3 cm、角度誤差 10.6 度であり、以前の実際のデータセットの精度を上回っていることが示されました。
EMDB 上のカメラ相対およびグローバル姿勢推定のための既存の最先端の単眼 RGB 手法を評価します。
EMDB は https://ait.ethz.ch/emdb で公開されています

要約(オリジナル)

We present EMDB, the Electromagnetic Database of Global 3D Human Pose and Shape in the Wild. EMDB is a novel dataset that contains high-quality 3D SMPL pose and shape parameters with global body and camera trajectories for in-the-wild videos. We use body-worn, wireless electromagnetic (EM) sensors and a hand-held iPhone to record a total of 58 minutes of motion data, distributed over 81 indoor and outdoor sequences and 10 participants. Together with accurate body poses and shapes, we also provide global camera poses and body root trajectories. To construct EMDB, we propose a multi-stage optimization procedure, which first fits SMPL to the 6-DoF EM measurements and then refines the poses via image observations. To achieve high-quality results, we leverage a neural implicit avatar model to reconstruct detailed human surface geometry and appearance, which allows for improved alignment and smoothness via a dense pixel-level objective. Our evaluations, conducted with a multi-view volumetric capture system, indicate that EMDB has an expected accuracy of 2.3 cm positional and 10.6 degrees angular error, surpassing the accuracy of previous in-the-wild datasets. We evaluate existing state-of-the-art monocular RGB methods for camera-relative and global pose estimation on EMDB. EMDB is publicly available under https://ait.ethz.ch/emdb

arxiv情報

提供元, 利用サービス

arxiv.jp, Google