要約
ニューラル放射輝度フィールドの最近の進歩により、複雑なシーンの忠実度の高い 3D 再構成が可能になり、新しいビュー合成が可能になりました。
ただし、フォトリアリズムを維持しながら、そのような表現の外観を効率的に編集する方法はまだ調査されていません。
この作業では、3D 色分解に基づく神経放射輝度場 (NeRF) のフォトリアリスティックな外観編集のための新しい方法である PaletteNeRF を紹介します。
この方法では、各 3D ポイントの外観を、シーン全体で共有されるパレットベースのベース (つまり、NeRF タイプの関数のグループによって定義される 3D セグメンテーション) の線形結合に分解します。
私たちのパレットベースのベースはビューに依存しませんが、色の残差をキャプチャするためのビューに依存する関数 (スペキュラー シェーディングなど) も予測します。
トレーニング中に、基底関数とカラー パレットを共同で最適化し、分解の空間的一貫性を促進するために新しい正則化も導入します。
この方法により、ユーザーはカラー パレットを変更することで 3D シーンの外観を効率的に編集できます。
また、セマンティックを意識した外観編集のために、圧縮されたセマンティック機能を使用してフレームワークを拡張します。
複雑な現実世界のシーンの外観編集について、定量的および定性的にベースライン手法よりも優れていることを示します。
要約(オリジナル)
Recent advances in neural radiance fields have enabled the high-fidelity 3D reconstruction of complex scenes for novel view synthesis. However, it remains underexplored how the appearance of such representations can be efficiently edited while maintaining photorealism. In this work, we present PaletteNeRF, a novel method for photorealistic appearance editing of neural radiance fields (NeRF) based on 3D color decomposition. Our method decomposes the appearance of each 3D point into a linear combination of palette-based bases (i.e., 3D segmentations defined by a group of NeRF-type functions) that are shared across the scene. While our palette-based bases are view-independent, we also predict a view-dependent function to capture the color residual (e.g., specular shading). During training, we jointly optimize the basis functions and the color palettes, and we also introduce novel regularizers to encourage the spatial coherence of the decomposition. Our method allows users to efficiently edit the appearance of the 3D scene by modifying the color palettes. We also extend our framework with compressed semantic features for semantic-aware appearance editing. We demonstrate that our technique is superior to baseline methods both quantitatively and qualitatively for appearance editing of complex real-world scenes.
arxiv情報
| 著者 | Zhengfei Kuang,Fujun Luan,Sai Bi,Zhixin Shu,Gordon Wetzstein,Kalyan Sunkavalli |
| 発行日 | 2023-01-24 07:23:55+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google