DreamEditor: Text-Driven 3D Scene Editing with Neural Fields

要約

ニューラル フィールドは、ビューの合成とシーンの再構成において目覚ましい進歩を遂げました。
ただし、ジオメトリとテクスチャ情報は暗黙的にエンコードされるため、これらのニューラル フィールドの編集は依然として困難です。
この論文では、ユーザーがテキスト プロンプトを使用してニューラル フィールドの制御された編集を実行できるようにする新しいフレームワークである DreamEditor を提案します。
DreamEditor では、シーンをメッシュベースのニューラル フィールドとして表すことにより、特定の領域内でのローカライズされた編集が可能になります。
DreamEditor は、事前トレーニングされたテキストから画像への拡散モデルのテキスト エンコーダーを利用して、テキスト プロンプトのセマンティクスに基づいて編集対象の領域を自動的に識別します。
その後、DreamEditor は編集領域を最適化し、スコア蒸留サンプリング [29] を通じてそのジオメトリとテクスチャをテキスト プロンプトに合わせます。
広範な実験により、DreamEditor が無関係な領域の一貫性を確保しながら、指定されたテキスト プロンプトに従って現実世界のシーンのニューラル フィールドを正確に編集できることが実証されました。
DreamEditor は、定量的、定性的評価の両方で過去作を大きく上回る、非常にリアルなテクスチャとジオメトリを生成します。

要約(オリジナル)

Neural fields have achieved impressive advancements in view synthesis and scene reconstruction. However, editing these neural fields remains challenging due to the implicit encoding of geometry and texture information. In this paper, we propose DreamEditor, a novel framework that enables users to perform controlled editing of neural fields using text prompts. By representing scenes as mesh-based neural fields, DreamEditor allows localized editing within specific regions. DreamEditor utilizes the text encoder of a pretrained text-to-Image diffusion model to automatically identify the regions to be edited based on the semantics of the text prompts. Subsequently, DreamEditor optimizes the editing region and aligns its geometry and texture with the text prompts through score distillation sampling [29]. Extensive experiments have demonstrated that DreamEditor can accurately edit neural fields of real-world scenes according to the given text prompts while ensuring consistency in irrelevant areas. DreamEditor generates highly realistic textures and geometry, significantly surpassing previous works in both quantitative and qualitative evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google