Human Body Measurement Estimation with Adversarial Augmentation

要約

シルエット画像から人体形状の 3D 擬人化測定値を推定するための Body Measurement ネットワーク (BMnet) を提示します。
BMnet のトレーニングは、実際の人間の被験者からのデータで実行され、挑戦的な体型を見つけて合成する新しい敵対的体シミュレーター (ABS) で強化されます。
ABS はスキンド マルチパーソン リニア (SMPL) ボディ モデルに基づいており、潜在的な SMPL 形状パラメーターに関して BMnet 測定予測誤差を最大化することを目的としています。
ABS はこれらのパラメーターに関して完全に微分可能であり、ループ内の BMnet を使用したバックプロパゲーションを介してエンドツーエンドでトレーニングされます。
実験では、ABS が極端な体格指数 (BMI) を持つ体などの敵対的な例を効果的に発見することが示されています。これは、BMnet のトレーニング セットにおける極端な BMI 体の希少性と一致しています。
したがって、ABS は、トレーニング データのギャップと、過小評価されている体型の予測における潜在的な失敗を明らかにすることができます。
結果は、ABS を使用して BMnet をトレーニングすると、拡張なしまたはランダムな体型サンプリングと比較して、実体の測定予測精度が最大 10% 向上することを示しています。
さらに、私たちの方法は、SOTA測定推定方法よりも3倍も大幅に優れています。
最後に、この分野の研究をさらに促進するために、実在の人物の写真シルエットと身体測定値の最初の挑戦的で大規模なデータセットである BodyM をリリースします。
プロジェクトのウェブサイト: https://adversarialbodysim.github.io

要約(オリジナル)

We present a Body Measurement network (BMnet) for estimating 3D anthropomorphic measurements of the human body shape from silhouette images. Training of BMnet is performed on data from real human subjects, and augmented with a novel adversarial body simulator (ABS) that finds and synthesizes challenging body shapes. ABS is based on the skinned multiperson linear (SMPL) body model, and aims to maximize BMnet measurement prediction error with respect to latent SMPL shape parameters. ABS is fully differentiable with respect to these parameters, and trained end-to-end via backpropagation with BMnet in the loop. Experiments show that ABS effectively discovers adversarial examples, such as bodies with extreme body mass indices (BMI), consistent with the rarity of extreme-BMI bodies in BMnet’s training set. Thus ABS is able to reveal gaps in training data and potential failures in predicting under-represented body shapes. Results show that training BMnet with ABS improves measurement prediction accuracy on real bodies by up to 10%, when compared to no augmentation or random body shape sampling. Furthermore, our method significantly outperforms SOTA measurement estimation methods by as much as 3x. Finally, we release BodyM, the first challenging, large-scale dataset of photo silhouettes and body measurements of real human subjects, to further promote research in this area. Project website: https://adversarialbodysim.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google