ARF-Plus: Controlling Perceptual Factors in Artistic Radiance Fields for 3D Scene Stylization

要約

Radiance Fields Style Transferは、3D再構成とビュー合成における神経放射界の顕著なパフォーマンスのおかげで、最近3Dシーンスタイリゼーションの手段として人気を獲得した新興分野です。
2D画像スタイルの転送の既存の概念によって動機付けられた、ラディアンスフィールドスタイルの転送の研究ギャップ、十分な知覚的制御性の欠如を強調します。
このホワイトペーパーでは、3Dシーンスタイリライゼーションの知覚的制御性を体系的に調査するために、知覚要因を管理しやすい制御を提供する3Dニューラルスタイルの転送フレームワークであるARF-PLUSを提示します。
4つの異なるタイプのコントロール – カラー保存制御、（スタイルパターン）スケール制御、空間（選択的スタイリライゼーション領域）制御、および深度強化制御 – が提案され、このフレームワークに統合されています。
定量的および定性的の両方の実際のデータセットの結果は、3Dシーンをスタイライズするときに、ARF-PLUSフレームワークの4種類のコントロールが対応する知覚コントロールを正常に達成することを示しています。
これらの手法は、個々のスタイルの入力と、シーン内の複数のスタイルを同時に適用するために有効です。
これにより、無限の可能性の領域が解き放たれ、スタイリライゼーション効果のカスタマイズされた変更とさまざまなスタイルの強度の柔軟なマージを可能にし、最終的には3Dシーンで斬新で人目を引くスタイル効果の作成を可能にします。

要約(オリジナル)

The radiance fields style transfer is an emerging field that has recently gained popularity as a means of 3D scene stylization, thanks to the outstanding performance of neural radiance fields in 3D reconstruction and view synthesis. We highlight a research gap in radiance fields style transfer, the lack of sufficient perceptual controllability, motivated by the existing concept in the 2D image style transfer. In this paper, we present ARF-Plus, a 3D neural style transfer framework offering manageable control over perceptual factors, to systematically explore the perceptual controllability in 3D scene stylization. Four distinct types of controls – color preservation control, (style pattern) scale control, spatial (selective stylization area) control, and depth enhancement control – are proposed and integrated into this framework. Results from real-world datasets, both quantitative and qualitative, show that the four types of controls in our ARF-Plus framework successfully accomplish their corresponding perceptual controls when stylizing 3D scenes. These techniques work well for individual style inputs as well as for the simultaneous application of multiple styles within a scene. This unlocks a realm of limitless possibilities, allowing customized modifications of stylization effects and flexible merging of the strengths of different styles, ultimately enabling the creation of novel and eye-catching stylistic effects on 3D scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google