NeRF-Art: Text-Driven Neural Radiance Fields Stylization

要約

3D シーンの強力な表現として、ニューラル ラジアンス フィールド (NeRF) は、マルチビュー画像からの高品質で斬新なビュー合成を可能にします。
ただし、NeRF のスタイル設定は、特に外観とジオメトリの両方が同時に変更されたテキスト ガイド スタイルをシミュレートする場合に、依然として困難です。
このホワイト ペーパーでは、単純なテキスト プロンプトで事前トレーニング済みの NeRF モデルのスタイルを操作する、テキスト ガイド付きの NeRF スタイル化アプローチである NeRF-Art を紹介します。
十分なジオメトリの変形とテクスチャの詳細を欠いているか、スタイライゼーションをガイドするためにメッシュを必要とする以前のアプローチとは異なり、私たちの方法は、3D シーンを、メッシュのガイダンスなしで、望ましいジオメトリと外観のバリエーションによって特徴付けられるターゲット スタイルにシフトできます。
これは、ターゲットスタイルの軌道と強さの両方を同時に制御するための方向制約と組み合わせた、新しいグローバルローカル対照学習戦略を導入することによって達成されます。
さらに、ジオメトリ スタイル化中に密度フィールドが変換されるときに発生しやすい曇ったアーティファクトとジオメトリ ノイズを効果的に抑制するために、重みの正則化方法を採用しています。
さまざまなスタイルに関する広範な実験を通じて、単一ビューのスタイル設定の品質とクロスビューの一貫性の両方に関して、この方法が効果的で堅牢であることを示しています。
コードとその他の結果は、プロジェクト ページ (https://cassiepython.github.io/nerfart/) にあります。

要約(オリジナル)

As a powerful representation of 3D scenes, the neural radiance field (NeRF) enables high-quality novel view synthesis from multi-view images. Stylizing NeRF, however, remains challenging, especially on simulating a text-guided style with both the appearance and the geometry altered simultaneously. In this paper, we present NeRF-Art, a text-guided NeRF stylization approach that manipulates the style of a pre-trained NeRF model with a simple text prompt. Unlike previous approaches that either lack sufficient geometry deformations and texture details or require meshes to guide the stylization, our method can shift a 3D scene to the target style characterized by desired geometry and appearance variations without any mesh guidance. This is achieved by introducing a novel global-local contrastive learning strategy, combined with the directional constraint to simultaneously control both the trajectory and the strength of the target style. Moreover, we adopt a weight regularization method to effectively suppress cloudy artifacts and geometry noises which arise easily when the density field is transformed during geometry stylization. Through extensive experiments on various styles, we demonstrate that our method is effective and robust regarding both single-view stylization quality and cross-view consistency. The code and more results can be found in our project page: https://cassiepython.github.io/nerfart/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google