HuManiFlow: Ancestor-Conditioned Normalising Flows on SO(3) Manifolds for Human Pose and Shape Distribution Estimation

要約

タイトル: HuManiFlow: Ancestor-Conditioned Normalising Flows on SO(3) Manifolds for Human Pose and Shape Distribution Estimation
【HuManiFlow：祖先条件つきのSO（3）多様体上の正規化フローによる人間のポーズと形状分布推定】

要約:
単眼カメラによる3D人間の姿勢と形状の推定は、1つの2D画像に複数の3D解釈ができるため、不十分な問題と考えられている。最近のアプローチでは、画像に基づく3Dポーズと形状のパラメータの連続した確率分布を予測することにより、この問題に対処しています。我々は、これらのアプローチが3つの主要な特性の間にトレードオフがあることを示しています：(i) 正確性-予測された分布のもとでのグラウンドトゥルースの3Dソリューションの尤度、(ii) サンプル入力の一貫性-予測された分布からの3Dサンプルが可視2D画像の証拠に一致する程度、および(iii) サンプル分散性-予測された分布によってモデル化される可能性のある3Dソリューションの範囲。私たちの方法であるHuManiFlowは、正確性、一貫性、そして多様性を同時に予測します。私たちは、人間の運動学的ツリーを使用して、完全な体のポーズを先祖に基づいた部位ごとのポーズ分布にオートレグレッシブな方法で分解します。部位ごとの分布は、部位ごとのポーズのリー群であるSO（3）の多様体構造を尊重する正規化フローを使用して実装されます。私たちは、普及しているが不完全な3Dポイントの推定損失がサンプル分散性を低下させることを示し、確率的訓練の損失のみを使用しています。コードはこちらから提供されます：https://github.com/akashsengupta1997/HuManiFlow。

要約(オリジナル)

Monocular 3D human pose and shape estimation is an ill-posed problem since multiple 3D solutions can explain a 2D image of a subject. Recent approaches predict a probability distribution over plausible 3D pose and shape parameters conditioned on the image. We show that these approaches exhibit a trade-off between three key properties: (i) accuracy – the likelihood of the ground-truth 3D solution under the predicted distribution, (ii) sample-input consistency – the extent to which 3D samples from the predicted distribution match the visible 2D image evidence, and (iii) sample diversity – the range of plausible 3D solutions modelled by the predicted distribution. Our method, HuManiFlow, predicts simultaneously accurate, consistent and diverse distributions. We use the human kinematic tree to factorise full body pose into ancestor-conditioned per-body-part pose distributions in an autoregressive manner. Per-body-part distributions are implemented using normalising flows that respect the manifold structure of SO(3), the Lie group of per-body-part poses. We show that ill-posed, but ubiquitous, 3D point estimate losses reduce sample diversity, and employ only probabilistic training losses. Code is available at: https://github.com/akashsengupta1997/HuManiFlow.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI