CD-NGP: A Fast Scalable Continual Representation for Dynamic Scenes

要約

動的シーンにおける 3D 再構成と新しいビュー合成のための高速かつスケーラブルな表現である CD-NGP を紹介します。
継続的な学習にインスピレーションを得た私たちのメソッドは、まず入力ビデオを複数のチャンクに分割し、続いてモデルをチャンクごとにトレーニングし、最後に最初のブランチと後続のブランチの特徴を融合します。
一般的な DyNeRF データセットでの実験では、私たちが提案した新しい表現がメモリ消費量、モデル サイズ、トレーニング速度、レンダリング品質の間で優れたバランスに達していることが実証されました。
具体的には、私たちの方法はオフライン方法よりも $85\%$ 少ないトレーニング メモリ ($<14$GB) を消費し、他のオンライン方法よりも大幅に低いストリーミング帯域幅 ($<0.4$MB/フレーム) を必要とします。

要約(オリジナル)

We present CD-NGP, which is a fast and scalable representation for 3D reconstruction and novel view synthesis in dynamic scenes. Inspired by continual learning, our method first segments input videos into multiple chunks, followed by training the model chunk by chunk, and finally, fuses features of the first branch and subsequent branches. Experiments on the prevailing DyNeRF dataset demonstrate that our proposed novel representation reaches a great balance between memory consumption, model size, training speed, and rendering quality. Specifically, our method consumes $85\%$ less training memory ($<14$GB) than offline methods and requires significantly lower streaming bandwidth ($<0.4$MB/frame) than other online alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google