High-Quality 3D Creation from A Single Image Using Subject-Specific Knowledge Prior

要約

この論文では、単一の画像から高品質の3Dモデルを生成するための新しい2段階のアプローチを提示することにより、多様な3Dデータの希少性によって引き起こされるロボット工学の重要なボトルネックに対処します。
この方法は、特に一般的な画像データセットと比較してさまざまなオブジェクトタイプが現在制限されているロボット工学データセットの場合、3Dアセット作成を効率的に拡張する必要性に動機付けられています。
主に一般的な拡散前に依存している以前の方法とは異なり、多くの場合、参照イメージと一致するのに苦労しているため、このアプローチは主題固有の事前知識をもたらします。
幾何学とテクスチャの両方にサブジェクト固有のプリエを組み込むことにより、生成された3Dコンテンツと参照オブジェクトの間の正確なアラインメントを確保します。
具体的には、NERF最適化プロセスに前にシェーディングモードを覚めることを導入し、粗い出力のジオメトリと精製テクスチャーを強化して、優れた品質を実現します。
広範な実験は、私たちの方法が以前のアプローチを大幅に上回ることを示しています。

要約(オリジナル)

In this paper, we address the critical bottleneck in robotics caused by the scarcity of diverse 3D data by presenting a novel two-stage approach for generating high-quality 3D models from a single image. This method is motivated by the need to efficiently expand 3D asset creation, particularly for robotics datasets, where the variety of object types is currently limited compared to general image datasets. Unlike previous methods that primarily rely on general diffusion priors, which often struggle to align with the reference image, our approach leverages subject-specific prior knowledge. By incorporating subject-specific priors in both geometry and texture, we ensure precise alignment between the generated 3D content and the reference object. Specifically, we introduce a shading mode-aware prior into the NeRF optimization process, enhancing the geometry and refining texture in the coarse outputs to achieve superior quality. Extensive experiments demonstrate that our method significantly outperforms prior approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google