Mesh-Guided Neural Implicit Field Editing

要約

ニューラル暗黙場は、フォトリアリスティックなビューを再構成し、レンダリングするための強力な3D表現として登場したが、編集性には限界がある。逆に、ポリゴンメッシュのような明示的な3D表現は、編集が容易であるが、高品質で斬新なビューのレンダリングには適していない可能性がある。両者の長所を生かすために、我々は神経輝度場を編集する際のガイドメカニズムとしてメッシュを用いる新しいアプローチを提案する。まず、神経陰影場から多角形メッシュを抽出するために、マーチング四面体を用いた微分可能な方法を導入し、次に、ボリュームレンダリングから得られた色をこの抽出メッシュに割り当てる微分可能な色抽出器を設計する。この微分可能なカラーメッシュは、陽的メッシュから陰的フィールドへのグラデーションの逆伝播を可能にし、ユーザーがニューラル陰的フィールドの形状とカラーを容易に操作できるようにする。粗視化レベルから細視化レベルまでのユーザー制御を強化するために、最適化にオクトリーベースの構造を導入する。この構造は、編集領域と表面部分を優先させ、本手法により神経暗黙野のきめ細かな編集を実現し、オブジェクトの追加、コンポーネントの削除、特定領域の変形、局所的および大域的な色の調整など、様々なユーザの修正に対応する。多様なシーンと編集操作を含む広範な実験を通して、我々は本手法の能力と有効性を実証した。私たちのプロジェクトページは\url{https://cassiepython.github.io/MNeuEdit/}

要約(オリジナル)

Neural implicit fields have emerged as a powerful 3D representation for reconstructing and rendering photo-realistic views, yet they possess limited editability. Conversely, explicit 3D representations, such as polygonal meshes, offer ease of editing but may not be as suitable for rendering high-quality novel views. To harness the strengths of both representations, we propose a new approach that employs a mesh as a guiding mechanism in editing the neural radiance field. We first introduce a differentiable method using marching tetrahedra for polygonal mesh extraction from the neural implicit field and then design a differentiable color extractor to assign colors obtained from the volume renderings to this extracted mesh. This differentiable colored mesh allows gradient back-propagation from the explicit mesh to the implicit fields, empowering users to easily manipulate the geometry and color of neural implicit fields. To enhance user control from coarse-grained to fine-grained levels, we introduce an octree-based structure into its optimization. This structure prioritizes the edited regions and the surface part, making our method achieve fine-grained edits to the neural implicit field and accommodate various user modifications, including object additions, component removals, specific area deformations, and adjustments to local and global colors. Through extensive experiments involving diverse scenes and editing operations, we have demonstrated the capabilities and effectiveness of our method. Our project page is: \url{https://cassiepython.github.io/MNeuEdit/}

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL