Representing Long Volumetric Video with Temporal Gaussian Hierarchy

要約

この論文は、マルチビュー RGB ビデオから長いボリューム ビデオを再構成するという課題に取り組むことを目的としています。
最近のダイナミック ビュー合成方法は、フィーチャ グリッドや点群シーケンスなどの強力な 4D 表現を利用して、高品質のレンダリング結果を実現します。
ただし、通常は短い (1 ～ 2 秒) ビデオ クリップに限定されており、長いビデオを扱う場合はメモリ使用量が大きくなることがよくあります。
この問題を解決するために、長いボリュームビデオをコンパクトにモデル化する、Temporal Gaussian Hierarchy と呼ばれる新しい 4D 表現を提案します。
私たちの重要な観察は、一般に、動的シーンにはさまざまな程度の時間的冗長性があり、異なる速度で変化する領域で構成されているということです。
これに動機付けられた私たちのアプローチは、4D ガウス プリミティブのマルチレベル階層を構築します。各レベルは、コンテンツの変化の度合いが異なるシーン領域を個別に記述し、ガウス プリミティブを適応的に共有して、異なる時間セグメントにわたって変化しないシーン コンテンツを表現することで、効果的に
ガウス プリミティブの数。
さらに、ガウス階層のツリー状構造により、ガウス プリミティブのサブセットを使用して特定の瞬間のシーンを効率的に表現できるため、ビデオの長さに関係なく、トレーニングまたはレンダリング中にほぼ一定の GPU メモリ使用量が得られます。
広範な実験結果により、トレーニング コスト、レンダリング速度、ストレージ使用量の点で、他の方法よりも私たちの方法が優れていることが実証されています。
私たちの知る限り、この取り組みは、最先端のレンダリング品質を維持しながら、数分のボリュームビデオデータを効率的に処理できる最初のアプローチです。
私たちのプロジェクト ページは https://zju3dv.github.io/longvolcap から入手できます。

要約(オリジナル)

This paper aims to address the challenge of reconstructing long volumetric videos from multi-view RGB videos. Recent dynamic view synthesis methods leverage powerful 4D representations, like feature grids or point cloud sequences, to achieve high-quality rendering results. However, they are typically limited to short (1~2s) video clips and often suffer from large memory footprints when dealing with longer videos. To solve this issue, we propose a novel 4D representation, named Temporal Gaussian Hierarchy, to compactly model long volumetric videos. Our key observation is that there are generally various degrees of temporal redundancy in dynamic scenes, which consist of areas changing at different speeds. Motivated by this, our approach builds a multi-level hierarchy of 4D Gaussian primitives, where each level separately describes scene regions with different degrees of content change, and adaptively shares Gaussian primitives to represent unchanged scene content over different temporal segments, thus effectively reducing the number of Gaussian primitives. In addition, the tree-like structure of the Gaussian hierarchy allows us to efficiently represent the scene at a particular moment with a subset of Gaussian primitives, leading to nearly constant GPU memory usage during the training or rendering regardless of the video length. Extensive experimental results demonstrate the superiority of our method over alternative methods in terms of training cost, rendering speed, and storage usage. To our knowledge, this work is the first approach capable of efficiently handling minutes of volumetric video data while maintaining state-of-the-art rendering quality. Our project page is available at: https://zju3dv.github.io/longvolcap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google