SuperCarver: Texture-Consistent 3D Geometry Super-Resolution for High-Fidelity Surface Detail Generation

要約

高精度3Dメッシュ資産の従来の生産ワークフローには、専門のモデラーによる手動の彫刻の面倒で面倒なプロセスが必要です。
近年、AI-Powered 3Dコンテンツの作成における顕著な進歩が目撃されています。
ただし、最新の最先端はすでにもっともらしい構造と画像やテキストのプロンプトから複雑な外観を生成することができますが、実際のメッシュ表面は通常、滑らかであり、幾何学的な詳細を欠いています。
このペーパーでは、特定の粗いメッシュにテクスチャに一貫性のある表面の詳細を追加するために特に調整された3Dジオメトリスーパー解像度フレームワークであるスーパーカーバーを紹介します。
技術的には、複数の視点から元のテクスチャーメッシュを画像ドメインにレンダリングすることから始めます。
幾何学的なディテール生成を実現するために、ペアの低ポリおよび高ポリ正常レンダリングの慎重にキュレーションされたデータセットで微調整された決定論的な事前誘導正常拡散モデルを開発します。
潜在的に不完全な通常のマップ予測からメッシュ構造を最適化するために、距離フィールドの変形に基づいて、シンプルで効果的なノイズ耐性逆レンダリングスキームを設計します。
広範な実験では、スーパーカーバーが特定のテクスチャーの外観によって描かれているように現実的で表現力のある表面の詳細を生成し、大量の時代遅れの低品質資産を自動的にアップグレードし、実際のアプリケーションで高品質のメッシュ生産の反復サイクルを短縮するための強力なツールにすることが示されています。

要約(オリジナル)

Traditional production workflow of high-precision 3D mesh assets necessitates a cumbersome and laborious process of manual sculpting by specialized modelers. The recent years have witnessed remarkable advances in AI-empowered 3D content creation. However, although the latest state-of-the-arts are already capable of generating plausible structures and intricate appearances from images or text prompts, the actual mesh surfaces are typically over-smoothing and lack geometric details. This paper introduces SuperCarver, a 3D geometry super-resolution framework particularly tailored for adding texture-consistent surface details to given coarse meshes. Technically, we start by rendering the original textured mesh into the image domain from multiple viewpoints. To achieve geometric detail generation, we develop a deterministic prior-guided normal diffusion model fine-tuned on a carefully curated dataset of paired low-poly and high-poly normal renderings. To optimize mesh structures from potentially imperfect normal map predictions, we design a simple yet effective noise-resistant inverse rendering scheme based on distance field deformation. Extensive experiments show that SuperCarver generates realistic and expressive surface details as depicted by specific texture appearances, making it a powerful tool for automatically upgrading massive outdated low-quality assets and shortening the iteration cycle of high-quality mesh production in practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google