3D Reconstruction of Interacting Multi-Person in Clothing from a Single Image

要約

この論文では、単一の画像からグローバルに一貫したシーン空間上で衣服を着た複数人の対話のジオメトリを再構築するための新しいパイプラインを紹介します。
主な課題はオクルージョンから生じます。他人または自分自身によるオクルージョンにより、人体の一部が 1 つのビューからは見えなくなり、ジオメトリの欠落や物理的な不合理性 (貫通など) が生じます。
私たちは、完全な 3D ジオメトリと表面接触のために 2 人の人間による事前分布を利用することで、この課題を克服しました。
事前のジオメトリの場合、エンコーダーは体の一部が欠けている人の画像を潜在ベクトルに回帰することを学習します。
デコーダはこれらのベクトルをデコードして、関連するジオメトリの 3D 特徴を生成します。
そして暗黙的なネットワークはこれらの特徴を表面法線マップと組み合わせて、完全で詳細な 3D 人間を再構築します。
事前接触については、人間間の表面接触の確率分布を 3D で出力する画像空間接触検出器を開発します。
これらの事前分布を使用して体のポーズをグローバルに洗練し、シーン空間上で衣服を着て対話する複数の人物の浸透のない正確な再構築を可能にします。
結果は、既存の方法と比較して、私たちの方法が完全で、全体的に一貫性があり、物理的に妥当であることを示しています。

要約(オリジナル)

This paper introduces a novel pipeline to reconstruct the geometry of interacting multi-person in clothing on a globally coherent scene space from a single image. The main challenge arises from the occlusion: a part of a human body is not visible from a single view due to the occlusion by others or the self, which introduces missing geometry and physical implausibility (e.g., penetration). We overcome this challenge by utilizing two human priors for complete 3D geometry and surface contacts. For the geometry prior, an encoder learns to regress the image of a person with missing body parts to the latent vectors; a decoder decodes these vectors to produce 3D features of the associated geometry; and an implicit network combines these features with a surface normal map to reconstruct a complete and detailed 3D humans. For the contact prior, we develop an image-space contact detector that outputs a probability distribution of surface contacts between people in 3D. We use these priors to globally refine the body poses, enabling the penetration-free and accurate reconstruction of interacting multi-person in clothing on the scene space. The results demonstrate that our method is complete, globally coherent, and physically plausible compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google