VQ-NeRF: Neural Reflectance Decomposition and Editing with Vector Quantization

要約

我々は、3D シーンの反射率フィールドを分解および編集するためにベクトル量子化 (VQ) を組み込んだ 2 分岐ニューラル ネットワーク モデルである VQ-NeRF を提案します。
従来のニューラル反射率フィールドは、オブジェクトが通常、実際には個別のマテリアルで構成されているにもかかわらず、3D シーンをモデル化するために連続表現のみを使用します。
この離散化の欠如により、ノイズの多いマテリアル分解や複雑なマテリアル編集が発生する可能性があります。
これらの制限に対処するために、私たちのモデルは連続分岐と離散分岐で構成されています。
連続ブランチは従来のパイプラインに従って分解された材料を予測しますが、離散ブランチは VQ メカニズムを使用して連続材料を個々の材料に量子化します。
材料を離散化することで、モデルは分解プロセスのノイズを低減し、離散材料のセグメンテーション マップを生成できます。
セグメンテーション結果の対応する領域をクリックすると、特定のマテリアルを簡単に選択してさらに編集できます。
さらに、シーン内のマテリアルの数を予測するドロップアウト ベースの VQ コードワード ランキング戦略を提案します。これにより、マテリアル セグメンテーション プロセスの冗長性が削減されます。
使いやすさを向上させるために、素材の編集をさらに支援するインタラクティブなインターフェイスも開発しました。
私たちはコンピューターで生成されたシーンと現実世界のシーンの両方でモデルを評価し、その優れたパフォーマンスを実証します。
私たちの知る限り、私たちのモデルは 3D シーンで個別のマテリアル編集を可能にした最初のモデルです。

要約(オリジナル)

We propose VQ-NeRF, a two-branch neural network model that incorporates Vector Quantization (VQ) to decompose and edit reflectance fields in 3D scenes. Conventional neural reflectance fields use only continuous representations to model 3D scenes, despite the fact that objects are typically composed of discrete materials in reality. This lack of discretization can result in noisy material decomposition and complicated material editing. To address these limitations, our model consists of a continuous branch and a discrete branch. The continuous branch follows the conventional pipeline to predict decomposed materials, while the discrete branch uses the VQ mechanism to quantize continuous materials into individual ones. By discretizing the materials, our model can reduce noise in the decomposition process and generate a segmentation map of discrete materials. Specific materials can be easily selected for further editing by clicking on the corresponding area of the segmentation outcomes. Additionally, we propose a dropout-based VQ codeword ranking strategy to predict the number of materials in a scene, which reduces redundancy in the material segmentation process. To improve usability, we also develop an interactive interface to further assist material editing. We evaluate our model on both computer-generated and real-world scenes, demonstrating its superior performance. To the best of our knowledge, our model is the first to enable discrete material editing in 3D scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google