ARF-Plus: Controlling Perceptual Factors in Artistic Radiance Fields for 3D Scene Stylization

要約

放射輝度フィールド スタイル転送は、3D 再構成およびビュー合成におけるニューラル輝度フィールドの優れたパフォーマンスのおかげで、3D シーンのスタイル化の手段として最近人気が高まっている新興分野です。
我々は、2D 画像スタイル転送における既存の概念によって動機付けられた、放射フィールド スタイル転送における研究ギャップ、つまり十分な知覚制御性の欠如を強調します。
この論文では、3D シーンの様式化における知覚の制御可能性を体系的に調査するために、知覚要素の管理可能な制御を提供する 3D ニューラル スタイル転送フレームワークである ARF-Plus を紹介します。
4 つの異なるタイプのコントロール (色保持コントロール、(スタイル パターン) スケール コントロール、空間 (選択的スタイル化領域) コントロール、および深さ強調コントロール) が提案され、このフレームワークに統合されています。
現実世界のデータセットの結果 (定量的および定性的両方) は、ARF-Plus フレームワークの 4 種類のコントロールが、3D シーンのスタイル設定時に対応する知覚コントロールを正常に達成していることを示しています。
これらのテクニックは、個々のスタイル入力だけでなく、シーン内で複数のスタイルを同時に適用する場合にもうまく機能します。
これにより、無限の可能性の領域が開かれ、スタイル効果のカスタマイズされた変更や、さまざまなスタイルの長所の柔軟な結合が可能になり、最終的には 3D シーン上で斬新で人目を引くスタイル効果を作成できるようになります。

要約(オリジナル)

The radiance fields style transfer is an emerging field that has recently gained popularity as a means of 3D scene stylization, thanks to the outstanding performance of neural radiance fields in 3D reconstruction and view synthesis. We highlight a research gap in radiance fields style transfer, the lack of sufficient perceptual controllability, motivated by the existing concept in the 2D image style transfer. In this paper, we present ARF-Plus, a 3D neural style transfer framework offering manageable control over perceptual factors, to systematically explore the perceptual controllability in 3D scene stylization. Four distinct types of controls – color preservation control, (style pattern) scale control, spatial (selective stylization area) control, and depth enhancement control – are proposed and integrated into this framework. Results from real-world datasets, both quantitative and qualitative, show that the four types of controls in our ARF-Plus framework successfully accomplish their corresponding perceptual controls when stylizing 3D scenes. These techniques work well for individual style inputs as well as for the simultaneous application of multiple styles within a scene. This unlocks a realm of limitless possibilities, allowing customized modifications of stylization effects and flexible merging of the strengths of different styles, ultimately enabling the creation of novel and eye-catching stylistic effects on 3D scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google