Sketch2NeRF: Multi-view Sketch-guided Text-to-3D Generation

要約

最近、テキストから 3D へのアプローチにより、テキスト記述を使用した高忠実度の 3D コンテンツ生成が実現されました。
ただし、生成されるオブジェクトは確率的であり、きめ細かい制御ができません。
スケッチは、このようなきめ細かい制御を導入するための安価なアプローチを提供します。
それにもかかわらず、これらのスケッチは抽象的で曖昧であるため、これらのスケッチから柔軟な制御を実現することは困難です。
この論文では、3D 生成にスケッチ コントロールを追加する、マルチビュー スケッチ ガイド付きテキストから 3D への生成フレームワーク (つまり、Sketch2NeRF) を紹介します。
具体的には、私たちの方法は、事前学習された 2D 拡散モデル (Stable Diffusion や ControlNet など) を利用して、神経放射フィールド (NeRF) によって表される 3D シーンの最適化を監視します。
我々は、NeRFを効果的に最適化するための新しい同期生成および再構成方法を提案します。
実験では、提案手法を評価するために 2 種類の多視点スケッチ データセットを収集しました。
私たちの方法は、テキスト プロンプトに忠実でありながら、きめの細かいスケッチ制御を使用して 3D の一貫したコンテンツを合成できることを示します。
広範な結果は、私たちの方法がスケッチの類似性とテキストの配置に関して最先端のパフォーマンスを達成していることを示しています。

要約(オリジナル)

Recently, text-to-3D approaches have achieved high-fidelity 3D content generation using text description. However, the generated objects are stochastic and lack fine-grained control. Sketches provide a cheap approach to introduce such fine-grained control. Nevertheless, it is challenging to achieve flexible control from these sketches due to their abstraction and ambiguity. In this paper, we present a multi-view sketch-guided text-to-3D generation framework (namely, Sketch2NeRF) to add sketch control to 3D generation. Specifically, our method leverages pretrained 2D diffusion models (e.g., Stable Diffusion and ControlNet) to supervise the optimization of a 3D scene represented by a neural radiance field (NeRF). We propose a novel synchronized generation and reconstruction method to effectively optimize the NeRF. In the experiments, we collected two kinds of multi-view sketch datasets to evaluate the proposed method. We demonstrate that our method can synthesize 3D consistent contents with fine-grained sketch control while being high-fidelity to text prompts. Extensive results show that our method achieves state-of-the-art performance in terms of sketch similarity and text alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google