3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions

要約

近年、符号付き距離をエンコードするニューラル ネットワークを介した暗黙的な表面表現が人気を博し、さまざまなタスク (形状表現、形状再構成、形状事前学習など) で最先端の結果を達成しています。
しかし、ポリゴン メッシュなどの従来の形状表現とは対照的に、暗黙的な表現は簡単に編集できず、この問題に対処しようとする既存の作業は非常に限られています。
この作業では、自由形式の編集を可能にする、ニューラル ネットワークを介して表現された符号付き距離関数の効率的な対話型編集のための最初の方法を提案します。
メッシュ用の 3D スカルプティング ソフトウェアに着想を得て、直感的で将来的にスカルプターやデジタル アーティストが使用できるブラシ ベースのフレームワークを使用します。
目的の表面変形を局所化するために、ネットワークのコピーを使用して以前に表現された表面をサンプリングすることにより、ネットワークを調整します。
スカルプト スタイルのサーフェス編集をシミュレートするための新しいフレームワークを、インタラクティブなサーフェス サンプリングとネットワーク ウェイトの効率的な適応と組み合わせて紹介します。
さまざまな異なる 3D オブジェクトとさまざまな編集の下で、方法を定性的および定量的に評価します。
報告された結果は、インタラクション領域の外側のジオメトリを保持しながら、同時に目的の編集を達成するという点で、私たちの方法が高い精度をもたらすことを明確に示しています。

要約(オリジナル)

In recent years, implicit surface representations through neural networks that encode the signed distance have gained popularity and have achieved state-of-the-art results in various tasks (e.g. shape representation, shape reconstruction, and learning shape priors). However, in contrast to conventional shape representations such as polygon meshes, the implicit representations cannot be easily edited and existing works that attempt to address this problem are extremely limited. In this work, we propose the first method for efficient interactive editing of signed distance functions expressed through neural networks, allowing free-form editing. Inspired by 3D sculpting software for meshes, we use a brush-based framework that is intuitive and can in the future be used by sculptors and digital artists. In order to localize the desired surface deformations, we regulate the network by using a copy of it to sample the previously expressed surface. We introduce a novel framework for simulating sculpting-style surface edits, in conjunction with interactive surface sampling and efficient adaptation of network weights. We qualitatively and quantitatively evaluate our method in various different 3D objects and under many different edits. The reported results clearly show that our method yields high accuracy, in terms of achieving the desired edits, while at the same time preserving the geometry outside the interaction areas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google