CoARF: Controllable 3D Artistic Style Transfer for Radiance Fields

要約

芸術的な 3D シーンの作成には時間がかかり、専門的な知識が必要です。
これに対処するために、ARF などの最近の作品では、スタイル制約を備えた放射フィールド ベースのアプローチを使用して、ユーザーが提供したスタイル イメージに似た 3D シーンを生成しています。
ただし、これらの方法には、結果として得られるシーンに対するきめ細かい制御が欠けています。
この論文では、制御可能な 3D シーンのスタイル化のための新しいアルゴリズムである Controllable Artistic Radiance Fields (CoARF) を紹介します。
CoARF は、指定されたオブジェクトのスタイル転送、構成的な 3D スタイル転送、およびセマンティックを意識したスタイル転送を可能にします。
ラベルに依存するさまざまな損失関数を持つセグメンテーション マスクを使用して、制御性を実現します。
また、スタイル転送の品質を向上させるために、セマンティックを意識した最近傍マッチング アルゴリズムも提案します。
私たちの広範な実験により、CoARF がスタイル転送のユーザー指定の制御性と、より正確な特徴マッチングによる優れたスタイル転送品質を提供することが実証されました。

要約(オリジナル)

Creating artistic 3D scenes can be time-consuming and requires specialized knowledge. To address this, recent works such as ARF, use a radiance field-based approach with style constraints to generate 3D scenes that resemble a style image provided by the user. However, these methods lack fine-grained control over the resulting scenes. In this paper, we introduce Controllable Artistic Radiance Fields (CoARF), a novel algorithm for controllable 3D scene stylization. CoARF enables style transfer for specified objects, compositional 3D style transfer and semantic-aware style transfer. We achieve controllability using segmentation masks with different label-dependent loss functions. We also propose a semantic-aware nearest neighbor matching algorithm to improve the style transfer quality. Our extensive experiments demonstrate that CoARF provides user-specified controllability of style transfer and superior style transfer quality with more precise feature matching.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google