NeRF Analogies: Example-Based Visual Attribute Transfer for NeRFs

要約

Neural Radiance Field (NeRF) は、3D ジオメトリとシーンの外観の特定の関係をエンコードします。
ここで、意味的に意味のある方法で、ソース NeRF からターゲット 3D ジオメトリに外観を転送できるかどうか、つまり、結果として得られる新しい NeRF がターゲット ジオメトリを保持しながら、ソース NeRF に類似した外観を持つようにできるかどうかという質問をします。
この目的を達成するために、2D 画像から NeRF までの古典的な画像の類似性を一般化します。
私たちは、大規模な事前トレーニング済み 2D 画像モデルからのセマンティック特徴によって駆動されるセマンティック アフィニティに沿った対応転送を活用して、マルチビューの一貫した外観転送を実現します。
私たちの方法では、3D 形状と外観の組み合わせた製品空間を探索することができます。
私たちの方法は従来のスタイルベースの方法よりも優れており、大多数のユーザーがいくつかの典型的なベースラインよりも私たちの方法を好むことを示します。

要約(オリジナル)

A Neural Radiance Field (NeRF) encodes the specific relation of 3D geometry and appearance of a scene. We here ask the question whether we can transfer the appearance from a source NeRF onto a target 3D geometry in a semantically meaningful way, such that the resulting new NeRF retains the target geometry but has an appearance that is an analogy to the source NeRF. To this end, we generalize classic image analogies from 2D images to NeRFs. We leverage correspondence transfer along semantic affinity that is driven by semantic features from large, pre-trained 2D image models to achieve multi-view consistent appearance transfer. Our method allows exploring the mix-and-match product space of 3D geometry and appearance. We show that our method outperforms traditional stylization-based methods and that a large majority of users prefer our method over several typical baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google