IPDreamer: Appearance-Controllable 3D Object Generation with Complex Image Prompts

要約

最近の 3D 生成の進歩は目覚ましく、DreamFusion などの大規模なテキストから画像への拡散ベースのモデルを活用して 3D オブジェクトの生成を監視します。
これらの方法により、詳細で写真のようにリアルなテクスチャ オブジェクトの合成が可能になります。
ただし、これらのテキストから 3D モデルによって生成される 3D オブジェクトの外観は予測不可能であり、単一画像から 3D への方法では複雑な画像を処理することが困難であるため、外観を制御可能な 3D オブジェクトを生成する際に課題が生じています。
。
制御可能な複雑な 3D オブジェクト合成を実現するために、私たちは IPDreamer を提案します。これは、画像プロンプト適応を組み込んで、複雑な画像から詳細かつ包括的な外観特徴を抽出し、その後 3D オブジェクト生成に利用する新しいアプローチです。
私たちの結果は、IPDreamer が、提供されたテキストと複雑な画像プロンプトの外観の両方と一致する高品質の 3D オブジェクトを効果的に生成することを示し、外観を制御可能な 3D オブジェクト生成におけるその有望な機能を示しています。
私たちのコードは https://github.com/zengbohan0217/IPDreamer で入手できます。

要約(オリジナル)

Recent advances in 3D generation have been remarkable, with methods such as DreamFusion leveraging large-scale text-to-image diffusion-based models to supervise 3D object generation. These methods enable the synthesis of detailed and photorealistic textured objects. However, the appearance of 3D objects produced by these text-to-3D models is unpredictable, and it is hard for the single-image-to-3D methods to deal with complex images, thus posing a challenge in generating appearance-controllable 3D objects. To achieve controllable complex 3D object synthesis, we propose IPDreamer, a novel approach that incorporates image prompt adaption to extract detailed and comprehensive appearance features from complex images, which are then utilized for 3D object generation. Our results demonstrate that IPDreamer effectively generates high-quality 3D objects that are consistent with both the provided text and the appearance of complex image prompts, demonstrating its promising capability in appearance-controllable 3D object generation. Our code is available at https://github.com/zengbohan0217/IPDreamer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google