Hierarchical Kinematic Probability Distributions for 3D Human Shape and Pose Estimation from Images in the Wild

要約

この論文では、RGB 画像からの 3D 人体形状とポーズ推定の問題に対処します。
これは、複数のもっともらしい 3D ボディが入力に存在する視覚的証拠と一致する可能性があるため、特に対象が遮られている場合に、不適切な設定の問題になることがよくあります。
したがって、単一の 3D 再構成ではなく、入力画像を条件とした 3D 身体形状およびポーズの分布を推定することが望ましいです。
深層ニューラル ネットワークをトレーニングして、相対的な 3D 関節回転行列 (つまり、体の姿勢) に対する階層型行列フィッシャー分布を推定します。これは、人体の運動学的ツリー構造を利用するだけでなく、SMPL 体型パラメーターに対するガウス分布も利用します。
予測された形状と姿勢の分布が入力画像の視覚的証拠と一致することをさらに確実にするために、微分可能な拒否サンプラーを実装して、グラウンド トゥルース 2D ジョイント座標と、画像平面に投影された予測分布からのサンプルとの間に再投影損失を課します。
私たちの方法は、SSP-3D および 3DPW データセットの 3D 形状およびポーズ メトリックに関して最先端の方法と競合することを示し、3D ボディ形状およびポーズに対する構造化された確率分布も生成します。
予測の不確実性を有意義に定量化し、複数のもっともらしい 3D 再構成をサンプリングして、特定の入力画像を説明できます。
コードは https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman で入手できます。

要約(オリジナル)

This paper addresses the problem of 3D human body shape and pose estimation from an RGB image. This is often an ill-posed problem, since multiple plausible 3D bodies may match the visual evidence present in the input – particularly when the subject is occluded. Thus, it is desirable to estimate a distribution over 3D body shape and pose conditioned on the input image instead of a single 3D reconstruction. We train a deep neural network to estimate a hierarchical matrix-Fisher distribution over relative 3D joint rotation matrices (i.e. body pose), which exploits the human body’s kinematic tree structure, as well as a Gaussian distribution over SMPL body shape parameters. To further ensure that the predicted shape and pose distributions match the visual evidence in the input image, we implement a differentiable rejection sampler to impose a reprojection loss between ground-truth 2D joint coordinates and samples from the predicted distributions, projected onto the image plane. We show that our method is competitive with the state-of-the-art in terms of 3D shape and pose metrics on the SSP-3D and 3DPW datasets, while also yielding a structured probability distribution over 3D body shape and pose, with which we can meaningfully quantify prediction uncertainty and sample multiple plausible 3D reconstructions to explain a given input image. Code is available at https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google