ECON: Explicit Clothed humans Obtained from Normals

要約

アーティストが精選したスキャンと深い陰関数 (IF) の組み合わせにより、画像から詳細な服を着た 3D 人間を作成できます。
ただし、既存の方法は完璧にはほど遠いものです。
IF ベースの方法では、自由形式のジオメトリが復元されますが、目に見えないポーズや衣服のために、身体から切り離された手足や退化した形状が生成されます。
これらのケースのロバスト性を高めるために、既存の作業では明示的なパラメトリック ボディ モデルを使用してサーフェスの再構成を制限していますが、これにより、ボディから逸脱したゆるい衣服などの自由形状サーフェスの回復が制限されます。
必要なのは、暗黙的メソッドと明示的メソッドの最良のプロパティを組み合わせたメソッドです。
(1) 現在のネットワークは、フル 3D サーフェスよりも詳細な 2D マップを推測するのに適していること、(2) パラメトリック モデルは、詳細なサーフェス パッチをつなぎ合わせる「キャンバス」と見なすことができることです。
ECON は、リアルな顔と指を持ちながら、ゆるい服や挑戦的なポーズでも忠実度の高い 3D 人間を推測します。
これは、以前の方法を超えています。
CAPE と Renderpeople のデータセットを定量的に評価すると、ECON が最新技術よりも正確であることがわかります。
知覚研究はまた、ECON の知覚リアリズムが大幅に優れていることを示しています。
コードとモデルは、https://xiuyuliang.cn/econ で研究目的で利用できます。

要約(オリジナル)

The combination of artist-curated scans, and deep implicit functions (IF), is enabling the creation of detailed, clothed, 3D humans from images. However, existing methods are far from perfect. IF-based methods recover free-form geometry but produce disembodied limbs or degenerate shapes for unseen poses or clothes. To increase robustness for these cases, existing work uses an explicit parametric body model to constrain surface reconstruction, but this limits the recovery of free-form surfaces such as loose clothing that deviates from the body. What we want is a method that combines the best properties of implicit and explicit methods. To this end, we make two key observations: (1) current networks are better at inferring detailed 2D maps than full-3D surfaces, and (2) a parametric model can be seen as a ‘canvas’ for stitching together detailed surface patches. ECON infers high-fidelity 3D humans even in loose clothes and challenging poses, while having realistic faces and fingers. This goes beyond previous methods. Quantitative, evaluation of the CAPE and Renderpeople datasets shows that ECON is more accurate than the state of the art. Perceptual studies also show that ECON’s perceived realism is better by a large margin. Code and models are available for research purposes at https://xiuyuliang.cn/econ

arxiv情報

提供元, 利用サービス

arxiv.jp, Google