Implicit 3D Human Mesh Recovery using Consistency with Pose and Shape from Unseen-view

要約

人物の画像から、曖昧さが存在する場合でも、その人物の自然な 3D ポーズや形状を簡単に推測できます。
これは、与えられた画像からさまざまな視線方向での人物の姿を想像し、それらの整合性を推論に利用するメンタルモデルを持っているからです。
ただし、既存のヒューマン メッシュ復元方法では、構造上の制限により、画像が撮影された方向のみが考慮されます。
そこで、我々はニューラル特徴フィールドを介して3D空間内の人物を特徴レベルで暗黙的に想像できる「Implicit 3D Human Mesh Recovery（ImpHMR）」を提案します。
ImpHMR では、特定の画像に対して CNN ベースの画像エンコーダーによって特徴フィールドが生成されます。
次に、2D 特徴マップが特定の視線方向の特徴フィールドからボリューム レンダリングされ、姿勢パラメータと形状パラメータが特徴から回帰されます。
見えない視点からの姿勢や形状との整合性を活かすため、3Dラベルがある場合、モデルは任意の方向からシルエットを含めた結果を予測し、回転したグラウンドトゥルースと等しくします。
2D ラベルのみの場合は、異なる方向から推定された姿勢パラメータと形状パラメータが同じでなければならないという制約を通じて自己教師あり学習を実行します。
広範な評価により、提案された方法の有効性が示されています。

要約(オリジナル)

From an image of a person, we can easily infer the natural 3D pose and shape of the person even if ambiguity exists. This is because we have a mental model that allows us to imagine a person’s appearance at different viewing directions from a given image and utilize the consistency between them for inference. However, existing human mesh recovery methods only consider the direction in which the image was taken due to their structural limitations. Hence, we propose ‘Implicit 3D Human Mesh Recovery (ImpHMR)’ that can implicitly imagine a person in 3D space at the feature-level via Neural Feature Fields. In ImpHMR, feature fields are generated by CNN-based image encoder for a given image. Then, the 2D feature map is volume-rendered from the feature field for a given viewing direction, and the pose and shape parameters are regressed from the feature. To utilize consistency with pose and shape from unseen-view, if there are 3D labels, the model predicts results including the silhouette from an arbitrary direction and makes it equal to the rotated ground-truth. In the case of only 2D labels, we perform self-supervised learning through the constraint that the pose and shape parameters inferred from different directions should be the same. Extensive evaluations show the efficacy of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google