IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts

要約

テキストから 3D への生成の最近の進歩は目覚ましく、DreamFusion などの大規模なテキストから画像への拡散ベースのモデルを利用して 3D 生成を監視しています。
ProlificDreamer によって提案された変分スコア蒸留を含むこれらの方法により、詳細で写真のようにリアルなテクスチャ メッシュの合成が可能になります。
ただし、これらの方法で生成された 3D オブジェクトの外観はランダムで制御できないことが多く、外観を制御可能な 3D オブジェクトを実現する際に課題が生じています。
この課題に対処するために、3D オブジェクト生成のための特定かつ包括的な外観情報を提供する画像プロンプトを組み込んだ新しいアプローチである IPDreamer を導入します。
私たちの結果は、IPDreamer が、提供されたテキストと画像のプロンプトの両方と一致する高品質の 3D オブジェクトを効果的に生成することを示し、外観を制御可能な 3D オブジェクト生成におけるその有望な機能を示しています。

要約(オリジナル)

Recent advances in text-to-3D generation have been remarkable, with methods such as DreamFusion leveraging large-scale text-to-image diffusion-based models to supervise 3D generation. These methods, including the variational score distillation proposed by ProlificDreamer, enable the synthesis of detailed and photorealistic textured meshes. However, the appearance of 3D objects generated by these methods is often random and uncontrollable, posing a challenge in achieving appearance-controllable 3D objects. To address this challenge, we introduce IPDreamer, a novel approach that incorporates image prompts to provide specific and comprehensive appearance information for 3D object generation. Our results demonstrate that IPDreamer effectively generates high-quality 3D objects that are consistent with both the provided text and image prompts, demonstrating its promising capability in appearance-controllable 3D object generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google