Implicit 3D Human Mesh Recovery using Consistency with Pose and Shape from Unseen-view

要約

私たちは、人物の画像から、たとえ曖昧さがあっても、その人物の自然な3次元ポーズや形状を容易に推論することができる。これは、与えられた画像から異なる見る方向での人物の姿を想像し、それらの間の整合性を推論に利用できるメンタルモデルを持っているからである。しかし、既存の人体メッシュ復元手法は、その構造上の制約から、画像が撮影された方向のみを考慮している。そこで我々は、Neural Feature Fieldsを介して、3次元空間における人物を特徴レベルで暗黙的にイメージすることができる「暗黙的3次元人体メッシュ復元（ImpHMR）」を提案する。ImpHMRでは、与えられた画像に対してCNNベースの画像エンコーダによって特徴場が生成される。そして、与えられた視線方向に対して、特徴場から2次元特徴マップをボリュームレンダリングし、その特徴から姿勢と形状のパラメータを回帰する。未視認画像からの姿勢・形状との整合性を利用するため、3Dラベルがある場合は、任意の方向からのシルエットを含む結果を予測し、回転させたGround-Truthと等しくする。2Dラベルしかない場合は、異なる方向から推測される姿勢と形状のパラメータが同じであるべきという制約を通して、自己教師あり学習を行う。広範な評価により、提案手法の有効性が示される。

要約(オリジナル)

From an image of a person, we can easily infer the natural 3D pose and shape of the person even if ambiguity exists. This is because we have a mental model that allows us to imagine a person’s appearance at different viewing directions from a given image and utilize the consistency between them for inference. However, existing human mesh recovery methods only consider the direction in which the image was taken due to their structural limitations. Hence, we propose ‘Implicit 3D Human Mesh Recovery (ImpHMR)’ that can implicitly imagine a person in 3D space at the feature-level via Neural Feature Fields. In ImpHMR, feature fields are generated by CNN-based image encoder for a given image. Then, the 2D feature map is volume-rendered from the feature field for a given viewing direction, and the pose and shape parameters are regressed from the feature. To utilize consistency with pose and shape from unseen-view, if there are 3D labels, the model predicts results including the silhouette from an arbitrary direction and makes it equal to the rotated ground-truth. In the case of only 2D labels, we perform self-supervised learning through the constraint that the pose and shape parameters inferred from different directions should be the same. Extensive evaluations show the efficacy of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL