Single-Image 3D Human Digitization with Shape-Guided Diffusion

要約

単一の入力画像から、一貫した高解像度の外観を持つ人物の 360 度ビューを生成するアプローチを紹介します。
NeRF とその亜種は通常、さまざまな視点からのビデオまたは画像を必要とします。
単眼入力を受け取る既存のアプローチのほとんどは、監視のためにグラウンドトゥルース 3D スキャンに依存しているか、3D の一貫性が欠けています。
最近の 3D 生成モデルは、3D 一貫した人間のデジタル化の可能性を示していますが、これらのアプローチは多様な服装の外観にうまく一般化できず、結果はフォトリアリズムに欠けています。
既存の作品とは異なり、衣服を着た人間の事前の外観として、一般的な画像合成タスク用に事前トレーニングされた大容量 2D 拡散モデルを利用します。
入力のアイデンティティを維持しながらより良い 3D の一貫性を達成するために、シルエットと表面法線に条件付けされた形状誘導拡散で欠落領域を修復することにより、入力画像内の人間の複数のビューを段階的に合成します。
次に、これらの合成されたマルチビュー画像を逆レンダリングによって融合し、特定の人物の完全にテクスチャ化された高解像度 3D メッシュを取得します。
実験の結果、私たちのアプローチは従来の方法よりも優れており、単一の画像から複雑なテクスチャを持つさまざまな服を着た人間の写真のようにリアルな 360 度の合成が達成されることが示されています。

要約(オリジナル)

We present an approach to generate a 360-degree view of a person with a consistent, high-resolution appearance from a single input image. NeRF and its variants typically require videos or images from different viewpoints. Most existing approaches taking monocular input either rely on ground-truth 3D scans for supervision or lack 3D consistency. While recent 3D generative models show promise of 3D consistent human digitization, these approaches do not generalize well to diverse clothing appearances, and the results lack photorealism. Unlike existing work, we utilize high-capacity 2D diffusion models pretrained for general image synthesis tasks as an appearance prior of clothed humans. To achieve better 3D consistency while retaining the input identity, we progressively synthesize multiple views of the human in the input image by inpainting missing regions with shape-guided diffusion conditioned on silhouette and surface normal. We then fuse these synthesized multi-view images via inverse rendering to obtain a fully textured high-resolution 3D mesh of the given person. Experiments show that our approach outperforms prior methods and achieves photorealistic 360-degree synthesis of a wide range of clothed humans with complex textures from a single image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google