DreamMesh: Jointly Manipulating and Texturing Triangle Meshes for Text-to-3D Generation

要約

強力な 2D 拡散モデルを使用した放射輝度フィールド (NeRF) の学習は、テキストから 3D への生成で人気を集めています。
それにもかかわらず、NeRF の暗黙的な 3D 表現には、サーフェス上のメッシュとテクスチャの明示的なモデリングが欠如しており、そのようなサーフェスが未定義の方法では、たとえば、あいまいなテクスチャの詳細を持つノイズの多いサーフェスやビュー間の不一致などの問題が発生する可能性があります。
これを軽減するために、明確に定義されたサーフェス (三角形メッシュ) 上でピボットして高忠実度の明示的な 3D モデルを生成する、新しいテキストから 3D へのアーキテクチャである DreamMesh を紹介します。
技術的には、DreamMesh は独特の粗いものから細かいものへのスキームを利用しています。
粗い段階では、最初にテキストガイド付きヤコビアンによってメッシュが変形され、次に DreamMesh が 2D 拡散モデルをインターレース使用して、複数の視点から自由に調整できる方法でメッシュをテクスチャリングします。
細かい段階では、DreamMesh がメッシュを共同操作してテクスチャ マップを洗練し、忠実度の高いテクスチャ マテリアルを備えた高品質の三角形メッシュが生成されます。
広範な実験により、DreamMesh が、より豊富なテキストの詳細と強化されたジオメトリを備えた 3D コンテンツを忠実に生成する際に、最先端のテキストから 3D への変換方法よりも大幅に優れていることが実証されました。
私たちのプロジェクト ページは https://dreammesh.github.io でご覧いただけます。

要約(オリジナル)

Learning radiance fields (NeRF) with powerful 2D diffusion models has garnered popularity for text-to-3D generation. Nevertheless, the implicit 3D representations of NeRF lack explicit modeling of meshes and textures over surfaces, and such surface-undefined way may suffer from the issues, e.g., noisy surfaces with ambiguous texture details or cross-view inconsistency. To alleviate this, we present DreamMesh, a novel text-to-3D architecture that pivots on well-defined surfaces (triangle meshes) to generate high-fidelity explicit 3D model. Technically, DreamMesh capitalizes on a distinctive coarse-to-fine scheme. In the coarse stage, the mesh is first deformed by text-guided Jacobians and then DreamMesh textures the mesh with an interlaced use of 2D diffusion models in a tuning free manner from multiple viewpoints. In the fine stage, DreamMesh jointly manipulates the mesh and refines the texture map, leading to high-quality triangle meshes with high-fidelity textured materials. Extensive experiments demonstrate that DreamMesh significantly outperforms state-of-the-art text-to-3D methods in faithfully generating 3D content with richer textual details and enhanced geometry. Our project page is available at https://dreammesh.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google