StyleTRF: Stylizing Tensorial Radiance Fields

要約

最近、カメラで何気なく撮った風景を定型化したビュー生成が注目されています。
シーンのジオメトリと外観は、通常、以前の作業でニューラル ポイント セットまたはニューラル ラディアンス フィールドとしてキャプチャされます。
画像様式化方法を使用して、ネットワークを構造キャプチャー・ネットワークと共同または反復的にトレーニングすることにより、キャプチャーされた外観を様式化します。
最先端の SNeRF メソッドは、NeRF と様式化ネットワークを交互にトレーニングします。
これらの方法はトレーニング時間が長く、同時最適化が必要です。
この作業では、TensoRF を使用して様式化されたビューを生成するための、コンパクトで迅速に最適化する戦略である StyleTRF を紹介します。
外観部分は、数回の反復で TensoRF 表現を使用してレンダリングされたいくつかのビューのスパースな様式化された事前分布を使用して微調整されます。
したがって、私たちの方法は、ビューのキャプチャからスタイル適応を効果的に分離し、以前の方法よりもはるかに高速です。
この目的で使用されるいくつかのシーンで最先端の結果を示します。

要約(オリジナル)

Stylized view generation of scenes captured casually using a camera has received much attention recently. The geometry and appearance of the scene are typically captured as neural point sets or neural radiance fields in the previous work. An image stylization method is used to stylize the captured appearance by training its network jointly or iteratively with the structure capture network. The state-of-the-art SNeRF method trains the NeRF and stylization network in an alternating manner. These methods have high training time and require joint optimization. In this work, we present StyleTRF, a compact, quick-to-optimize strategy for stylized view generation using TensoRF. The appearance part is fine-tuned using sparse stylized priors of a few views rendered using the TensoRF representation for a few iterations. Our method thus effectively decouples style-adaption from view capture and is much faster than the previous methods. We show state-of-the-art results on several scenes used for this purpose.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google