DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes

要約

ダイナミックシーンのモデリングは、バーチャルリアリティやテレプレゼンスなどの多くのアプリケーションにとって重要です。
動的シーンでの新しいビュー合成の前例のない忠実度を達成したにもかかわらず、ニューラルラディアンスフィールド（NeRF）に基づく既存の方法は、収束が遅い（つまり、モデルのトレーニング時間が日数で測定される）という問題があります。
この論文では、動的放射輝度フィールドの学習を加速するための新しい表現であるDeVRFを紹介します。
DeVRFの中核は、明示的で離散的なボクセルベースの表現を使用して、動的で非剛体のシーンの3D標準空間と4D変形フィールドの両方をモデル化することです。
ただし、多数のモデルパラメータを持つこのような表現をトレーニングすることは非常に困難であり、多くの場合、過剰適合の問題が発生します。
この課題を克服するために、実際に展開するのに便利な新しいデータキャプチャ設定とともに、新しい静的から動的への学習パラダイムを考案します。
このパラダイムは、マルチビュー静止画像から学習した3D体積正準空間を利用して、変形可能な放射輝度フィールドの効率的な学習を解き放ち、少数ビューの動的シーケンスのみで4Dボクセル変形フィールドの学習を容易にします。
DeVRFの効率とその合成された新しいビューの品質をさらに向上させるために、徹底的な調査を実施し、一連の戦略を特定します。
さまざまなタイプの変形を伴う合成シーンと実世界の動的シーンの両方でDeVRFを評価します。
実験は、DeVRFが以前の最先端のアプローチと比較して同等の高忠実度の結果で2桁のスピードアップ（100倍高速）を達成することを示しています。
コードとデータセットはhttps://github.com/showlab/DeVRFでリリースされます。

要約(オリジナル)

Modeling dynamic scenes is important for many applications such as virtual reality and telepresence. Despite achieving unprecedented fidelity for novel view synthesis in dynamic scenes, existing methods based on Neural Radiance Fields (NeRF) suffer from slow convergence (i.e., model training time measured in days). In this paper, we present DeVRF, a novel representation to accelerate learning dynamic radiance fields. The core of DeVRF is to model both the 3D canonical space and 4D deformation field of a dynamic, non-rigid scene with explicit and discrete voxel-based representations. However, it is quite challenging to train such a representation which has a large number of model parameters, often resulting in overfitting issues. To overcome this challenge, we devise a novel static-to-dynamic learning paradigm together with a new data capture setup that is convenient to deploy in practice. This paradigm unlocks efficient learning of deformable radiance fields via utilizing the 3D volumetric canonical space learnt from multi-view static images to ease the learning of 4D voxel deformation field with only few-view dynamic sequences. To further improve the efficiency of our DeVRF and its synthesized novel view’s quality, we conduct thorough explorations and identify a set of strategies. We evaluate DeVRF on both synthetic and real-world dynamic scenes with different types of deformation. Experiments demonstrate that DeVRF achieves two orders of magnitude speedup (100x faster) with on-par high-fidelity results compared to the previous state-of-the-art approaches. The code and dataset will be released in https://github.com/showlab/DeVRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google