UPST-NeRF: Universal Photorealistic Style Transfer of Neural Radiance Fields for 3D Scene

要約

3D シーンの写実的な様式化は、さまざまな視点からレンダリングする際の一貫性を確保しながら、特定のスタイル イメージに従って任意の新しいビューから写実的な画像を生成することを目的としています。
ニューラル放射輝度フィールドを使用したいくつかの既存の様式化方法は、スタイル画像の特徴を多視点画像と組み合わせて 3D シーンをトレーニングすることにより、様式化されたシーンを効果的に予測できます。
ただし、これらのメソッドは、好ましくないアーティファクトを含む新しいビュー イメージを生成します。
さらに、3D シーンの普遍的な写真のようにリアルな様式化を実現することはできません。
したがって、スタイリング イメージは、神経放射フィールドに基づいて 3D シーン表現ネットワークを再トレーニングする必要があります。
これらの問題に対処するために、新しい 3D シーンの写実的なスタイル転送フレームワークを提案します。
フォトリアリスティックな 3D シーン スタイルの転送を 2D スタイルのイメージで実現できます。
最初に、2D フォトリアリスティック スタイル転送ネットワークを事前トレーニングしました。これは、任意のコンテンツ イメージとスタイル イメージの間のフォトリアリスティック スタイル転送に対応できます。
次に、ボクセル機能を使用して 3D シーンを最適化し、シーンの幾何学的表現を取得します。
最後に、ハイパーネットワークを共同で最適化して、任意のスタイル画像のシーンの写実的なスタイル転送を実現します。
転送段階では、事前トレーニング済みの 2D フォトリアリスティック ネットワークを使用して、3D シーン内のさまざまなビューとさまざまなスタイルの画像のフォトリアリスティック スタイルを制限します。
実験結果は、私たちの方法が任意のスタイル画像の 3D フォトリアリスティック スタイル転送を実現するだけでなく、視覚的品質と一貫性の点で既存の方法よりも優れていることを示しています。
プロジェクトページ：https://semchan.github.io/UPST_NeRF.

要約(オリジナル)

3D scenes photorealistic stylization aims to generate photorealistic images from arbitrary novel views according to a given style image while ensuring consistency when rendering from different viewpoints. Some existing stylization methods with neural radiance fields can effectively predict stylized scenes by combining the features of the style image with multi-view images to train 3D scenes. However, these methods generate novel view images that contain objectionable artifacts. Besides, they cannot achieve universal photorealistic stylization for a 3D scene. Therefore, a styling image must retrain a 3D scene representation network based on a neural radiation field. We propose a novel 3D scene photorealistic style transfer framework to address these issues. It can realize photorealistic 3D scene style transfer with a 2D style image. We first pre-trained a 2D photorealistic style transfer network, which can meet the photorealistic style transfer between any given content image and style image. Then, we use voxel features to optimize a 3D scene and get the geometric representation of the scene. Finally, we jointly optimize a hyper network to realize the scene photorealistic style transfer of arbitrary style images. In the transfer stage, we use a pre-trained 2D photorealistic network to constrain the photorealistic style of different views and different style images in the 3D scene. The experimental results show that our method not only realizes the 3D photorealistic style transfer of arbitrary style images but also outperforms the existing methods in terms of visual quality and consistency. Project page:https://semchan.github.io/UPST_NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google