Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic Reconstruction and Rendering

要約

Tensor4D は、ダイナミック シーン モデリングに対する効率的かつ効果的なアプローチです。
私たちのソリューションの鍵は、動的シーンを 4D 時空間テンソルとして直接表現できる効率的な 4D テンソル分解方法です。
付随するメモリの問題に取り組むために、最初に 3 つの時間認識ボリュームに射影し、次に 9 つのコンパクトなフィーチャ プレーンに射影することで、4D テンソルを階層的に分解します。
このようにして、時間の経過に伴う空間情報を、コンパクトでメモリ効率の高い方法で同時にキャプチャできます。
動的なシーンの再構築とレンダリングに Tensor4D を適用する場合、構造的な動きと動的な詳細な変化を粗いものから細かいものまで学習できるという意味で、4D フィールドをさまざまなスケールにさらに因数分解します。
私たちの方法の有効性は、合成シーンと現実世界の両方のシーンで検証されています。
広範な実験により、私たちの方法がスパースビューカメラリグまたは単眼カメラからでも高品質の動的再構成およびレンダリングを実現できることが示されています。
コードとデータセットは https://liuyebin.com/tensor4d/tensor4d.html でリリースされます。

要約(オリジナル)

We present Tensor4D, an efficient yet effective approach to dynamic scene modeling. The key of our solution is an efficient 4D tensor decomposition method so that the dynamic scene can be directly represented as a 4D spatio-temporal tensor. To tackle the accompanying memory issue, we decompose the 4D tensor hierarchically by projecting it first into three time-aware volumes and then nine compact feature planes. In this way, spatial information over time can be simultaneously captured in a compact and memory-efficient manner. When applying Tensor4D for dynamic scene reconstruction and rendering, we further factorize the 4D fields to different scales in the sense that structural motions and dynamic detailed changes can be learned from coarse to fine. The effectiveness of our method is validated on both synthetic and real-world scenes. Extensive experiments show that our method is able to achieve high-quality dynamic reconstruction and rendering from sparse-view camera rigs or even a monocular camera. The code and dataset will be released at https://liuyebin.com/tensor4d/tensor4d.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google