Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic Reconstruction and Rendering

要約

タイトル：Tensor4D：高精度な動的再構築とレンダリングのための効率的なニューラル4D分解

要約：
– Tensor4Dは、動的シーンモデリングの効率的かつ効果的なアプローチです。
– 4Dテンソル分解手法が解決策の鍵であり、動的シーンを4D空間時間テンソルとして直接表現できます。
– 同時に、空間情報が時間にわたってコンパクトかつメモリ効率的にキャプチャされます。
– Tensor4Dを動的シーン再構築とレンダリングに適用する場合、4Dフィールドを異なるスケールに分解し、粗いものから細かいものまで構造的運動と動的な詳細な変化を学習できます。
– 大規模な実験の結果、Tensor4Dは、疎な視点カメラリグまたは単眼カメラから高品質の動的再構築とレンダリングを実現することができます。
– コードとデータセットは、https://liuyebin.com/tensor4d/tensor4d.htmlでリリースされます。

要約(オリジナル)

We present Tensor4D, an efficient yet effective approach to dynamic scene modeling. The key of our solution is an efficient 4D tensor decomposition method so that the dynamic scene can be directly represented as a 4D spatio-temporal tensor. To tackle the accompanying memory issue, we decompose the 4D tensor hierarchically by projecting it first into three time-aware volumes and then nine compact feature planes. In this way, spatial information over time can be simultaneously captured in a compact and memory-efficient manner. When applying Tensor4D for dynamic scene reconstruction and rendering, we further factorize the 4D fields to different scales in the sense that structural motions and dynamic detailed changes can be learned from coarse to fine. The effectiveness of our method is validated on both synthetic and real-world scenes. Extensive experiments show that our method is able to achieve high-quality dynamic reconstruction and rendering from sparse-view camera rigs or even a monocular camera. The code and dataset will be released at https://liuyebin.com/tensor4d/tensor4d.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI