InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes

要約

3D シーンの NeRF 再構成における生成オブジェクト挿入のための新しい方法である InseRF を紹介します。
ユーザーが指定したテキストによる説明と参照視点の 2D 境界ボックスに基づいて、InseRF は 3D シーンに新しいオブジェクトを生成します。
最近、3D 生成モデリングにおけるテキストから画像への拡散モデルの強力な事前分布の使用により、3D シーン編集の方法が大きく変わりました。
既存の方法は、スタイルや外観の変更、または既存のオブジェクトの削除による 3D シーンの編集に主に効果的です。
ただし、新しいオブジェクトを生成することは、このような方法にとって依然として課題であり、この研究で取り上げます。
具体的には、シーンの参照ビューで 3D オブジェクトの挿入を 2D オブジェクトの挿入に固定することを提案します。
次に、2D 編集は、単一ビューのオブジェクト再構成方法を使用して 3D にリフトされます。
再構成されたオブジェクトは、単眼奥行き推定法の事前設定に従ってシーンに挿入されます。
さまざまな 3D シーンでメソッドを評価し、提案されたコンポーネントの詳細な分析を提供します。
いくつかの 3D シーンでオブジェクトを生成的に挿入する実験では、既存の方法と比較して、この方法の有効性が示されています。
InseRF は、入力として明示的な 3D 情報を必要とせずに、制御可能で 3D 一貫性のあるオブジェクトの挿入が可能です。
プロジェクト ページ (https://mohamad-shahbazi.github.io/inserf) にアクセスしてください。

要約(オリジナル)

We introduce InseRF, a novel method for generative object insertion in the NeRF reconstructions of 3D scenes. Based on a user-provided textual description and a 2D bounding box in a reference viewpoint, InseRF generates new objects in 3D scenes. Recently, methods for 3D scene editing have been profoundly transformed, owing to the use of strong priors of text-to-image diffusion models in 3D generative modeling. Existing methods are mostly effective in editing 3D scenes via style and appearance changes or removing existing objects. Generating new objects, however, remains a challenge for such methods, which we address in this study. Specifically, we propose grounding the 3D object insertion to a 2D object insertion in a reference view of the scene. The 2D edit is then lifted to 3D using a single-view object reconstruction method. The reconstructed object is then inserted into the scene, guided by the priors of monocular depth estimation methods. We evaluate our method on various 3D scenes and provide an in-depth analysis of the proposed components. Our experiments with generative insertion of objects in several 3D scenes indicate the effectiveness of our method compared to the existing methods. InseRF is capable of controllable and 3D-consistent object insertion without requiring explicit 3D information as input. Please visit our project page at https://mohamad-shahbazi.github.io/inserf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google