RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color Editing of 3D Scenes

要約

ラディアンス フィールドは徐々にメディアの主要な表現になってきました。
外観の編集は研究されていますが、効率的な方法でビュー一貫性のある再色付けを実現する方法はまだ研究中です。
神経放射フィールドに対する新しいユーザーフレンドリーな色編集アプローチである RecolorNeRF を紹介します。
私たちの重要なアイデアは、シーンを純粋な色のレイヤーのセットに分解し、パレットを形成することです。
これにより、パレットの色成分を直接変更することで色操作を行うことができます。
効率的なパレットベースの編集をサポートするには、各レイヤーの色が可能な限り代表的なものである必要があります。
最終的に、この問題は最適化問題として定式化され、レイヤーとそのブレンド重みが NeRF 自体と共同して最適化されます。
広範な実験により、共同で最適化されたレイヤー分解が複数のバックボーンに対して使用され、フォトリアリスティックな色変更された新しいビュー レンダリングが生成されることが示されました。
我々は、複雑な現実世界のシーンにおいても、RecolorNeRF がカラー編集において量的および質的にベースライン手法を上回るパフォーマンスを発揮することを実証します。

要約(オリジナル)

Radiance fields have gradually become a main representation of media. Although its appearance editing has been studied, how to achieve view-consistent recoloring in an efficient manner is still under explored. We present RecolorNeRF, a novel user-friendly color editing approach for the neural radiance fields. Our key idea is to decompose the scene into a set of pure-colored layers, forming a palette. By this means, color manipulation can be conducted by altering the color components of the palette directly. To support efficient palette-based editing, the color of each layer needs to be as representative as possible. In the end, the problem is formulated as an optimization problem, where the layers and their blending weights are jointly optimized with the NeRF itself. Extensive experiments show that our jointly-optimized layer decomposition can be used against multiple backbones and produce photo-realistic recolored novel-view renderings. We demonstrate that RecolorNeRF outperforms baseline methods both quantitatively and qualitatively for color editing even in complex real-world scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google