H3WB: Human3.6M 3D WholeBody Dataset and Benchmark

要約

私たちは、顔、手、体、足を含む人体全体の正確な 3D キーポイントを特定する 3D 人間の全身姿勢推定のベンチマークを紹介します。
現在、完全にアノテーションが付けられた正確な 3D 全身データセットが不足しているため、ディープ ネットワークが特定の身体部分で個別にトレーニングされ、推論中に結合されます。
あるいは、検出ベースの方法ほど正確ではないパラメトリック身体モデルによって提供される擬似グラウンドトゥルースに依存します。
これらの問題を克服するために、Human3.6M 3D WholeBody (H3WB) データセットを導入します。これは、COCO Wholebody レイアウトを使用して Human3.6M データセットに全身のアノテーションを提供します。
H3WB は、100K 画像上の 133 個の全身キーポイント アノテーションで構成されており、新しいマルチビュー パイプラインによって可能になりました。
また、3 つのタスクを提案します。i) 2D の完全な全身ポーズから 3D 全身ポーズをリフティングする、ii) 2D 不完全な全身ポーズから 3D 全身ポーズをリフティングする、および iii) 単一の全身ポーズから 3D 全身ポーズを推定する
RGB画像。
さらに、これらのタスクの一般的な方法からいくつかのベースラインを報告します。
さらに、TotalCapture の自動 3D 全身アノテーションも提供しており、H3WB と併用するとパフォーマンスの向上に役立つことが実験的に示されています。
コードとデータセットは https://github.com/wholebody3d/wholebody3d で入手できます。

要約(オリジナル)

We present a benchmark for 3D human whole-body pose estimation, which involves identifying accurate 3D keypoints on the entire human body, including face, hands, body, and feet. Currently, the lack of a fully annotated and accurate 3D whole-body dataset results in deep networks being trained separately on specific body parts, which are combined during inference. Or they rely on pseudo-groundtruth provided by parametric body models which are not as accurate as detection based methods. To overcome these issues, we introduce the Human3.6M 3D WholeBody (H3WB) dataset, which provides whole-body annotations for the Human3.6M dataset using the COCO Wholebody layout. H3WB comprises 133 whole-body keypoint annotations on 100K images, made possible by our new multi-view pipeline. We also propose three tasks: i) 3D whole-body pose lifting from 2D complete whole-body pose, ii) 3D whole-body pose lifting from 2D incomplete whole-body pose, and iii) 3D whole-body pose estimation from a single RGB image. Additionally, we report several baselines from popular methods for these tasks. Furthermore, we also provide automated 3D whole-body annotations of TotalCapture and experimentally show that when used with H3WB it helps to improve the performance. Code and dataset is available at https://github.com/wholebody3d/wholebody3d

arxiv情報

提供元, 利用サービス

arxiv.jp, Google