Blending-NeRF: Text-Driven Localized Editing in Neural Radiance Fields

要約

オブジェクトの形式を歪めることなく、元の 3D オブジェクトと目的の新しいオブジェクトおよびスタイル効果を局所的に混合することは簡単なプロセスではないため、3D オブジェクトのテキスト駆動のローカライズ編集は特に困難です。
この問題に対処するために、我々は新しい NeRF ベースのモデルである Blending-NeRF を提案します。これは、事前学習済み NeRF と編集可能な NeRF という 2 つの NeRF ネットワークで構成されます。
さらに、Blending-NeRF がテキストによってローカライズされたターゲット領域を適切に編集できるようにする新しいブレンディング操作を導入します。
事前トレーニング済みの視覚言語対応モデルである CLIP を使用することで、Blending-NeRF がさまざまな色や密度を持つ新しいオブジェクトを追加し、テクスチャを変更し、元のオブジェクトの一部を削除できるようにします。
私たちの広範な実験により、Blending-NeRF がさまざまなテキスト プロンプトから自然かつローカルに編集された 3D オブジェクトを生成することが実証されました。
私たちのプロジェクトページは https://seokhunchoi.github.io/Blending-NeRF/ から入手できます。

要約(オリジナル)

Text-driven localized editing of 3D objects is particularly difficult as locally mixing the original 3D object with the intended new object and style effects without distorting the object’s form is not a straightforward process. To address this issue, we propose a novel NeRF-based model, Blending-NeRF, which consists of two NeRF networks: pretrained NeRF and editable NeRF. Additionally, we introduce new blending operations that allow Blending-NeRF to properly edit target regions which are localized by text. By using a pretrained vision-language aligned model, CLIP, we guide Blending-NeRF to add new objects with varying colors and densities, modify textures, and remove parts of the original object. Our extensive experiments demonstrate that Blending-NeRF produces naturally and locally edited 3D objects from various text prompts. Our project page is available at https://seokhunchoi.github.io/Blending-NeRF/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google