RecolorNeRF: Layer Decomposed Radiance Field for Efficient Color Editing of 3D Scenes

要約

ラディアンス フィールドは徐々にメディアの主要な表現になっています。
その外観編集は研究されていますが、効率的な方法でビューの一貫性のある色変更を実現する方法はまだ調査中です。
RecolorNeRF は、ニューラル ラディアンス フィールドの新しいユーザー フレンドリーな色編集アプローチです。
私たちの重要なアイデアは、シーンを純粋な色のレイヤーのセットに分解して、パレットを形成することです。
したがって、カラー操作は、パレットのカラー コンポーネントを直接変更することによって行うことができます。
効率的なパレットベースの編集をサポートするには、各レイヤーの色をできるだけ代表的なものにする必要があります。
最終的に、問題は最適化式のように定式化され、レイヤーとそのブレンド方法が NeRF 自体と共同で最適化されます。
広範な実験により、共同で最適化されたレイヤー分解を複数のバックボーンに対して使用して、写真のようにリアルな再色付けされた新しいビュー レンダリングを生成できることが示されています。
RecolorNeRF は、複雑な実世界のシーンであっても、カラー編集に関して量的および質的にベースライン手法よりも優れていることを示しています。

要約(オリジナル)

Radiance fields have gradually become a main representation of media. Although its appearance editing has been studied, how to achieve view-consistent recoloring in an efficient manner is still under explored. We present RecolorNeRF, a novel user-friendly color editing approach for the neural radiance field. Our key idea is to decompose the scene into a set of pure-colored layers, forming a palette. Thus, color manipulation can be conducted by altering the color components of the palette directly. To support efficient palette-based editing, the color of each layer needs to be as representative as possible. In the end, the problem is formulated as in an optimization formula, where the layers and their blending way are jointly optimized with the NeRF itself. Extensive experiments show that our jointly-optimized layer decomposition can be used against multiple backbones and produce photo-realistic recolored novel-view renderings. We demonstrate that RecolorNeRF outperforms baseline methods both quantitatively and qualitatively for color editing even in complex real-world scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google