S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes

要約

現在の 3D 様式化手法は静的なシーンを前提としていることが多く、これは現実世界の動的な性質に違反しています。
この制限に対処するために、動的神経放射フィールドのための参照ベースの時空間様式化手法である S-DyRF を提案します。
ただし、時間軸に沿って利用できる様式化された参照画像が限られているため、動的な 3D シーンの様式化は本質的に困難です。
私たちの重要な洞察は、提供された参照以外に追加の時間的手がかりを導入することにあります。
この目的を達成するために、与えられた様式化された参照から一時的な疑似参照を生成します。
これらの疑似参照により、参照からダイナミック 3D シーン全体へのスタイル情報の伝達が容易になります。
粗いスタイル転送の場合、フィーチャ レベルで擬似参照に存在するスタイルの詳細を模倣するために、新しいビューと時間を強制します。
高周波の詳細を保存するために、時間擬似参照から様式化された時間擬似レイのコレクションを作成します。
これらの疑似レイは、優れたスタイル転送を実現するための詳細かつ明示的なスタイル化ガイドとして機能します。
合成データセットと実世界データセットの両方での実験は、私たちの方法が動的 3D シーン上で時空間ビュー合成のもっともらしい様式化された結果を生み出すことを実証しています。

要約(オリジナル)

Current 3D stylization methods often assume static scenes, which violates the dynamic nature of our real world. To address this limitation, we present S-DyRF, a reference-based spatio-temporal stylization method for dynamic neural radiance fields. However, stylizing dynamic 3D scenes is inherently challenging due to the limited availability of stylized reference images along the temporal axis. Our key insight lies in introducing additional temporal cues besides the provided reference. To this end, we generate temporal pseudo-references from the given stylized reference. These pseudo-references facilitate the propagation of style information from the reference to the entire dynamic 3D scene. For coarse style transfer, we enforce novel views and times to mimic the style details present in pseudo-references at the feature level. To preserve high-frequency details, we create a collection of stylized temporal pseudo-rays from temporal pseudo-references. These pseudo-rays serve as detailed and explicit stylization guidance for achieving fine style transfer. Experiments on both synthetic and real-world datasets demonstrate that our method yields plausible stylized results of space-time view synthesis on dynamic 3D scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google