D-TensoRF: Tensorial Radiance Fields for Dynamic Scenes

要約

NeRF（Neural Radiance Field）は、3次元シーンの再構成を行う有望なアプローチとして注目されている。NeRFの登場により、運動やトポロジーの変化を含む動的なシーンをモデル化する研究が行われるようになった。しかし、その多くは、変形ネットワークを追加で使用するため、学習やレンダリング速度が遅くなる。近年、Tensorial Radiance Field (TensoRF) は、コンパクトなモデルサイズで、静的シーンの高速かつ高品質な再構成を可能にする可能性を示している。本論文では、動的なシーンのためのTensorial Radiance FieldであるD-TensoRFを紹介し、特定の時間における新しいビュー合成を可能にする。動的なシーンの輝度場を5次元テンソルとして考える。5次元テンソルは、各軸がX、Y、Z、時間に対応する4次元グリッドを表し、要素ごとに1次元のマルチチャンネル特徴量を持つ。TensoRFと同様に、1ランクのベクトル成分（CP分解）と低ランクの行列成分（新提案のMM分解）のいずれかに分解する。また、異なる時刻の特徴間の関係（時間依存性）を反映するために、平滑化正則化を用いる。これらのモデルを分析するために、広範な評価を行った。その結果、CP分解とMM分解を用いたD-TensoRFは、いずれも学習時間が短く、メモリフットプリントが著しく小さく、3D動的シーンモデリングにおける最新の手法と比較して、定量的・定性的にも競争力のあるレンダリング結果を得ることができることが示された。

要約(オリジナル)

Neural radiance field (NeRF) attracts attention as a promising approach to reconstructing the 3D scene. As NeRF emerges, subsequent studies have been conducted to model dynamic scenes, which include motions or topological changes. However, most of them use an additional deformation network, slowing down the training and rendering speed. Tensorial radiance field (TensoRF) recently shows its potential for fast, high-quality reconstruction of static scenes with compact model size. In this paper, we present D-TensoRF, a tensorial radiance field for dynamic scenes, enabling novel view synthesis at a specific time. We consider the radiance field of a dynamic scene as a 5D tensor. The 5D tensor represents a 4D grid in which each axis corresponds to X, Y, Z, and time and has 1D multi-channel features per element. Similar to TensoRF, we decompose the grid either into rank-one vector components (CP decomposition) or low-rank matrix components (newly proposed MM decomposition). We also use smoothing regularization to reflect the relationship between features at different times (temporal dependency). We conduct extensive evaluations to analyze our models. We show that D-TensoRF with CP decomposition and MM decomposition both have short training times and significantly low memory footprints with quantitatively and qualitatively competitive rendering results in comparison to the state-of-the-art methods in 3D dynamic scene modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL