Locally Stylized Neural Radiance Fields

要約

近年、基準スタイル画像から 3D シーン、特に神経放射フィールド (NeRF) にスタイルを適用することへの関心が高まっています。
NeRF 上で直接スタイル化を実行すると、任意の新しいビューにわたって外観の一貫性が保証されますが、スタイル イメージから NeRF シーンのさまざまな部分へのパターンの転送をガイドするのは困難な問題です。
この研究では、ローカル スタイル転送に基づいた NeRF のスタイル化フレームワークを提案します。
特に、ハッシュ グリッド エンコーディングを使用して、外観およびジオメトリ コンポーネントの埋め込みを学習し、ハッシュ テーブルによって定義されたマッピングにより、ある程度の様式化を制御できることを示します。
スタイル化は、ジオメトリ ブランチを固定したまま外観ブランチを最適化することによって実現されます。
ローカルスタイルの転送をサポートするために、セグメンテーションネットワークと二部マッチングを利用してスタイル画像とボリュームレンダリングから得られたコンテンツ画像の間の領域対応を確立する新しい損失関数を提案します。
私たちの実験は、私たちの方法が、領域の対応を操作およびカスタマイズすることによる柔軟な制御性を備えながら、新しいビュー合成により妥当な様式化結果を生み出すことを示しています。

要約(オリジナル)

In recent years, there has been increasing interest in applying stylization on 3D scenes from a reference style image, in particular onto neural radiance fields (NeRF). While performing stylization directly on NeRF guarantees appearance consistency over arbitrary novel views, it is a challenging problem to guide the transfer of patterns from the style image onto different parts of the NeRF scene. In this work, we propose a stylization framework for NeRF based on local style transfer. In particular, we use a hash-grid encoding to learn the embedding of the appearance and geometry components, and show that the mapping defined by the hash table allows us to control the stylization to a certain extent. Stylization is then achieved by optimizing the appearance branch while keeping the geometry branch fixed. To support local style transfer, we propose a new loss function that utilizes a segmentation network and bipartite matching to establish region correspondences between the style image and the content images obtained from volume rendering. Our experiments show that our method yields plausible stylization results with novel view synthesis while having flexible controllability via manipulating and customizing the region correspondences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google