Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation

要約

利用可能なトレーニング データの爆発的な増加に伴い、単一画像の 3D 人体モデリングはデータ中心のパラダイムへの移行を先取りしています。
データ スケールをうまく活用するための鍵は、さまざまな研究者やベンダーが作成したさまざまな異種データ ソースから監視できる柔軟なモデルを設計することです。
この目的を達成するために、人間のさまざまな姿勢や形状に関連するタスクとデータセットをシームレスに統合するための、シンプルかつ強力なパラダイムを提案します。
私たちの定式化は、トレーニング時とテスト時の両方で、人間のボリュームの任意の点をクエリし、その推定位置を 3D で取得する機能を中心としています。
これは、ボディ ポイント ローカライザー関数の連続ニューラル フィールドを学習することで実現します。各関数は、異なるパラメーター化された 3D ヒートマップ ベースの畳み込みポイント ローカライザー (検出器) です。
パラメトリック出力を生成するために、SMPL ファミリーのボディ モデルをノンパラメトリックな関節および頂点の予測に適合させるための効率的な後処理ステップを提案します。
このアプローチを使用すると、メッシュ、2D/3D スケルトン、密なポーズなど、異なるアノテーションが付けられたデータ ソースを、それらの間で変換することなく自然に活用できるため、現状のデータ ソースを大幅に上回る大規模な 3D ヒューマン メッシュとスケルトンの推定モデルをトレーニングできます。
– 3DPW、EMDB、EHF、SSP-3D、AGORA などのいくつかの公開ベンチマークに関する最新技術。

要約(オリジナル)

With the explosive growth of available training data, single-image 3D human modeling is ahead of a transition to a data-centric paradigm. A key to successfully exploiting data scale is to design flexible models that can be supervised from various heterogeneous data sources produced by different researchers or vendors. To this end, we propose a simple yet powerful paradigm for seamlessly unifying different human pose and shape-related tasks and datasets. Our formulation is centered on the ability — both at training and test time — to query any arbitrary point of the human volume, and obtain its estimated location in 3D. We achieve this by learning a continuous neural field of body point localizer functions, each of which is a differently parameterized 3D heatmap-based convolutional point localizer (detector). For generating parametric output, we propose an efficient post-processing step for fitting SMPL-family body models to nonparametric joint and vertex predictions. With this approach, we can naturally exploit differently annotated data sources including mesh, 2D/3D skeleton and dense pose, without having to convert between them, and thereby train large-scale 3D human mesh and skeleton estimation models that considerably outperform the state-of-the-art on several public benchmarks including 3DPW, EMDB, EHF, SSP-3D and AGORA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google