SUPR: A Sparse Unified Part-Based Human Representation

要約

頭、手、全身の統計的な 3D 形状モデルは、コンピューター ビジョンとグラフィックスで広く使用されています。
広く使用されているにもかかわらず、頭と手の既存のモデルでは、これらのパーツの全可動域をキャプチャできないことがわかりました。
さらに、既存の研究では、人間の動きをモデル化するために重要であり、バイオメカニクス、アニメーション、および履物業界に応用されている足をほとんど無視しています。
問題は、以前の身体部位モデルが、個々の部位に分離された 3D スキャンを使用してトレーニングされていることです。
このようなデータは、そのようなパーツの全範囲の動きをキャプチャしません。
首に対する頭の動き。
私たちの観察によると、全身スキャンは体の部分の動きに関する重要な情報を提供します。
その結果、全身スキャンと身体部分スキャンの連合データセットを使用して、全身モデルと特定の部分モデルを共同でトレーニングする新しい学習スキームを提案します。
具体的には、SUPR (Sparse Unified Part-Based Human Representation) と呼ばれる表現力豊かな人体モデルをトレーニングします。このモデルでは、各関節がモデル頂点のまばらなセットに厳密に影響します。
因数分解された表現により、SUPR を身体部位モデルのスイート全体に分離することができます。
足はほとんど注目されておらず、既存の 3D ボディ モデルでは足が非常に過小評価されていることに注意してください。
足の斬新な 4D スキャンを使用して、つま先の可動範囲をキャプチャする拡張キネマティック ツリーでモデルをトレーニングします。
さらに、地面との接触により足が変形します。
これをモデル化するために、足のポーズ、形状、および地面との接触を条件とした足の変形を予測する新しい非線形変形関数が含まれています。
120 万回の体、頭、手、足のスキャンという前例のない数のスキャンで SUPR をトレーニングします。
SUPR と分離された身体部分を定量的に比較すると、モデルのスイートが既存のモデルよりも一般化されていることがわかります。
SUPR は http://supr.is.tue.mpg.de で入手できます。

要約(オリジナル)

Statistical 3D shape models of the head, hands, and fullbody are widely used in computer vision and graphics. Despite their wide use, we show that existing models of the head and hands fail to capture the full range of motion for these parts. Moreover, existing work largely ignores the feet, which are crucial for modeling human movement and have applications in biomechanics, animation, and the footwear industry. The problem is that previous body part models are trained using 3D scans that are isolated to the individual parts. Such data does not capture the full range of motion for such parts, e.g. the motion of head relative to the neck. Our observation is that full-body scans provide important information about the motion of the body parts. Consequently, we propose a new learning scheme that jointly trains a full-body model and specific part models using a federated dataset of full-body and body-part scans. Specifically, we train an expressive human body model called SUPR (Sparse Unified Part-Based Human Representation), where each joint strictly influences a sparse set of model vertices. The factorized representation enables separating SUPR into an entire suite of body part models. Note that the feet have received little attention and existing 3D body models have highly under-actuated feet. Using novel 4D scans of feet, we train a model with an extended kinematic tree that captures the range of motion of the toes. Additionally, feet deform due to ground contact. To model this, we include a novel non-linear deformation function that predicts foot deformation conditioned on the foot pose, shape, and ground contact. We train SUPR on an unprecedented number of scans: 1.2 million body, head, hand and foot scans. We quantitatively compare SUPR and the separated body parts and find that our suite of models generalizes better than existing models. SUPR is available at http://supr.is.tue.mpg.de

arxiv情報

提供元, 利用サービス

arxiv.jp, Google