HumanRef: Single Image to 3D Human Generation via Reference-Guided Diffusion

要約

単一の参照画像から 3D 人体モデルを生成することは、参照画像との一貫性を維持しながら、目に見えないビューでテクスチャとジオメトリを推測する必要があるため、困難です。
3D 生成モデルを利用するこれまでの方法は、3D トレーニング データの利用可能性によって制限されていました。
テキストから画像への拡散モデルを 3D 生成に引き上げる最適化ベースの方法では、多くの場合、参照画像のテクスチャの詳細を保持できず、その結果、異なるビューでの外観に一貫性がなくなります。
この論文では、単一ビュー入力からの 3D 人間生成フレームワークである HumanRef を提案します。
生成された 3D モデルが写真のようにリアルで、入力画像と一致していることを確認するために、HumanRef は、生成プロセスに画像ガイダンスを効果的に組み込む、参照ガイド付きスコア蒸留サンプリング (Ref-SDS) と呼ばれる新しい方法を導入しています。
さらに、Ref-SDS に領域を意識した注意を導入し、異なる体の領域間の正確な対応を保証します。
実験結果は、HumanRef が、微細なジオメトリ、フォトリアリスティックなテクスチャ、およびビューの一貫性のある外観を備えた 3D 衣服を着た人間の生成において、最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Generating a 3D human model from a single reference image is challenging because it requires inferring textures and geometries in invisible views while maintaining consistency with the reference image. Previous methods utilizing 3D generative models are limited by the availability of 3D training data. Optimization-based methods that lift text-to-image diffusion models to 3D generation often fail to preserve the texture details of the reference image, resulting in inconsistent appearances in different views. In this paper, we propose HumanRef, a 3D human generation framework from a single-view input. To ensure the generated 3D model is photorealistic and consistent with the input image, HumanRef introduces a novel method called reference-guided score distillation sampling (Ref-SDS), which effectively incorporates image guidance into the generation process. Furthermore, we introduce region-aware attention to Ref-SDS, ensuring accurate correspondence between different body regions. Experimental results demonstrate that HumanRef outperforms state-of-the-art methods in generating 3D clothed humans with fine geometry, photorealistic textures, and view-consistent appearances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google