Accurate 3D Body Shape Regression using Metric and Semantic Attributes

要約

画像から3D人間メッシュを回帰する方法は急速に進歩していますが、推定された体型は多くの場合、実際の人間の形状をキャプチャしていません。
多くのアプリケーションでは、正確な体型がポーズと同じくらい重要であるため、これは問題があります。
体型の精度がポーズの精度に遅れる主な理由は、データの不足です。
人間は2D関節にラベルを付けることができ、これらは3Dポーズを制約しますが、3D体型に「ラベルを付ける」のはそれほど簡単ではありません。
画像と3D体型を組み合わせたデータはまれであるため、次の2つの情報源を利用します。（1）さまざまな「ファッション」モデルのインターネット画像を少数の人体測定値とともに収集します。
（2）さまざまな3Dボディメッシュとモデル画像の言語形状属性を収集します。
まとめると、これらのデータセットは、密な3D形状を推測するのに十分な制約を提供します。
人体測定の測定値と言語の形状属性をいくつかの新しい方法で活用して、RGB画像から3Dの人間のポーズと形状を回帰するSHAPYと呼ばれるニューラルネットワークをトレーニングします。
SHAPYは公開ベンチマークで評価しますが、体型の大幅な変動、グラウンドトゥルースの形状、または衣服の変動がないことに注意してください。
したがって、HBWと呼ばれる3D人間の形状推定を評価するための新しいデータセットを収集します。このデータセットには、グラウンドトゥルースの3Dボディスキャンを行った「野生の人体」の写真が含まれています。
この新しいベンチマークでは、SHAPYは、3D体型推定のタスクで最先端の方法を大幅に上回っています。
これは、画像からの3D体型回帰が、取得しやすい人体測定測定値と言語形状属性からトレーニングできることを示す最初のデモンストレーションです。
私たちのモデルとデータは、shapy.is.tue.mpg.deで入手できます。

要約(オリジナル)

While methods that regress 3D human meshes from images have progressed rapidly, the estimated body shapes often do not capture the true human shape. This is problematic since, for many applications, accurate body shape is as important as pose. The key reason that body shape accuracy lags pose accuracy is the lack of data. While humans can label 2D joints, and these constrain 3D pose, it is not so easy to ‘label’ 3D body shape. Since paired data with images and 3D body shape are rare, we exploit two sources of information: (1) we collect internet images of diverse ‘fashion’ models together with a small set of anthropometric measurements; (2) we collect linguistic shape attributes for a wide range of 3D body meshes and the model images. Taken together, these datasets provide sufficient constraints to infer dense 3D shape. We exploit the anthropometric measurements and linguistic shape attributes in several novel ways to train a neural network, called SHAPY, that regresses 3D human pose and shape from an RGB image. We evaluate SHAPY on public benchmarks, but note that they either lack significant body shape variation, ground-truth shape, or clothing variation. Thus, we collect a new dataset for evaluating 3D human shape estimation, called HBW, containing photos of ‘Human Bodies in the Wild’ for which we have ground-truth 3D body scans. On this new benchmark, SHAPY significantly outperforms state-of-the-art methods on the task of 3D body shape estimation. This is the first demonstration that 3D body shape regression from images can be trained from easy-to-obtain anthropometric measurements and linguistic shape attributes. Our model and data are available at: shapy.is.tue.mpg.de

arxiv情報

提供元, 利用サービス

arxiv.jp, Google