PartNeRF: Generating Part-Aware Editable 3D Shapes without 3D Supervision

要約

生成モデルと暗黙的表現における目覚ましい進歩により、高品質の 3D 形状を生成できる方法が生まれました。
ただし、形状をローカルで制御および編集できることは、いくつかのコンテンツ作成アプリケーションのロックを解除できるもう 1 つの重要なプロパティです。
部分認識モデルでローカル制御を実現できますが、既存の方法では 3D 監視が必要であり、テクスチャを生成できません。
この作業では、明示的な 3D 監督を必要としない、編集可能な 3D 形状合成のための新しいパーツ認識生成モデルである PartNeRF を考案しました。
私たちのモデルは、アフィン変換で拡張された、ローカルに定義された NeRF のセットとしてオブジェクトを生成します。
これにより、パーツに変換を適用したり、異なるオブジェクトのパーツを混合したりするなど、いくつかの編集操作が可能になります。明確で操作可能なパーツを確保するために、各光線の色が単一の NeRF によってのみ決定されるように、光線のハード割り当てをパーツに強制します。
.
その結果、1 つのパーツを変更しても、他のパーツの外観には影響しません。
さまざまな ShapeNet カテゴリでの評価は、3D 監視または NeRF に依存するモデルを必要とする以前のパーツベースの生成アプローチと比較して、改善された忠実度の編集可能な 3D オブジェクトを生成するモデルの能力を示しています。

要約(オリジナル)

Impressive progress in generative models and implicit representations gave rise to methods that can generate 3D shapes of high quality. However, being able to locally control and edit shapes is another essential property that can unlock several content creation applications. Local control can be achieved with part-aware models, but existing methods require 3D supervision and cannot produce textures. In this work, we devise PartNeRF, a novel part-aware generative model for editable 3D shape synthesis that does not require any explicit 3D supervision. Our model generates objects as a set of locally defined NeRFs, augmented with an affine transformation. This enables several editing operations such as applying transformations on parts, mixing parts from different objects etc. To ensure distinct, manipulable parts we enforce a hard assignment of rays to parts that makes sure that the color of each ray is only determined by a single NeRF. As a result, altering one part does not affect the appearance of the others. Evaluations on various ShapeNet categories demonstrate the ability of our model to generate editable 3D objects of improved fidelity, compared to previous part-based generative approaches that require 3D supervision or models relying on NeRFs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google