Streaming Radiance Fields for 3D Video Synthesis

要約

現実世界の動的シーンの新しいビュー合成のために、ストリーミング放射輝度フィールドを効率的に再構築するための明示的なグリッドベースの方法を提示します。
すべてのフレームを組み合わせた単一のモデルをトレーニングする代わりに、フレームごとのモデルの違いをトレーニングして現在のフレームの基本モデルの適応を補完する増分学習パラダイムを使用して動的モデリングの問題を定式化します。
狭帯域でのシンプルかつ効果的なチューニング戦略を活用することにより、提案された方法は、ビデオシーケンスをオンザフライで高いトレーニング効率で処理するための実行可能なフレームワークを実現します。
明示的なグリッド表現を使用することによって生じるストレージのオーバーヘッドは、モデル差分ベースの圧縮を使用することで大幅に削減できます。
また、各フレームのモデル最適化をさらに加速するための効率的な戦略も紹介します。
挑戦的なビデオ シーケンスの実験は、私たちのアプローチがフレームあたり 15 秒のトレーニング速度を達成し、競争力のあるレンダリング品質を達成できることを示しています。
コードは https://github.com/AlgoHunt/StreamRF で入手できます。

要約(オリジナル)

We present an explicit-grid based method for efficiently reconstructing streaming radiance fields for novel view synthesis of real world dynamic scenes. Instead of training a single model that combines all the frames, we formulate the dynamic modeling problem with an incremental learning paradigm in which per-frame model difference is trained to complement the adaption of a base model on the current frame. By exploiting the simple yet effective tuning strategy with narrow bands, the proposed method realizes a feasible framework for handling video sequences on-the-fly with high training efficiency. The storage overhead induced by using explicit grid representations can be significantly reduced through the use of model difference based compression. We also introduce an efficient strategy to further accelerate model optimization for each frame. Experiments on challenging video sequences demonstrate that our approach is capable of achieving a training speed of 15 seconds per-frame with competitive rendering quality, which attains $1000 \times$ speedup over the state-of-the-art implicit methods. Code is available at https://github.com/AlgoHunt/StreamRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google