SynBody: Synthetic Dataset with Layered Human Models for 3D Human Perception and Modeling

要約

合成データは、大規模な人体データセットへの低コストのアクセスを提供するため、3D 人体研究の有望なソースとして浮上しています。
人体モデルの多様性とアノテーション品質を向上させるために、次の 3 つの魅力的な機能を備えた新しい合成データセット SynBody を導入します。1) 多様な被写体を生成できる着衣パラメトリック人体モデル。
2) 複数のタスクをサポートするための高品質の 3D 注釈を自然に提供する、階層化された人間の表現。
3) 現実世界のタスクを容易にする現実的なデータを生成するためのスケーラブルなシステム。
データセットは、対応する正確な 3D アノテーションを備えた 120 万枚の画像で構成され、10,000 人体モデル、1,187 のアクション、さまざまな視点をカバーしています。
このデータセットには、人間の姿勢と形状の推定、および人間のニューラル レンダリング用の 2 つのサブセットが含まれています。
SynBody に関する広範な実験により、SynBody が SMPL と SMPL-X の両方の推定を大幅に強化することが示されました。
さらに、階層化された注釈の組み込みにより、人間の神経放射フィールド (NeRF) を調査するための貴重なトレーニング リソースが提供されます。

要約(オリジナル)

Synthetic data has emerged as a promising source for 3D human research as it offers low-cost access to large-scale human datasets. To advance the diversity and annotation quality of human models, we introduce a new synthetic dataset, SynBody, with three appealing features: 1) a clothed parametric human model that can generate a diverse range of subjects; 2) the layered human representation that naturally offers high-quality 3D annotations to support multiple tasks; 3) a scalable system for producing realistic data to facilitate real-world tasks. The dataset comprises 1.2M images with corresponding accurate 3D annotations, covering 10,000 human body models, 1,187 actions, and various viewpoints. The dataset includes two subsets for human pose and shape estimation as well as human neural rendering. Extensive experiments on SynBody indicate that it substantially enhances both SMPL and SMPL-X estimation. Furthermore, the incorporation of layered annotations offers a valuable training resource for investigating the Human Neural Radiance Fields (NeRF).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google