Factorized Motion Fields for Fast Sparse Input Dynamic View Synthesis

要約

高速な最適化とレンダリングのために動的シーンの 3D 表現を設計することは、困難な作業です。
最近の明示的な表現では、動的な放射輝度フィールドの高速な学習とレンダリングが可能になりますが、入力視点の高密度のセットが必要です。
この研究では、まばらな入力視点による動的放射フィールドの高速表現を学習することに焦点を当てます。
ただし、スパース入力での最適化は制約が不十分であるため、学習を制約するためにモーション事前分布を使用する必要があります。
既存の高速ダイナミック シーン モデルはモーションを明示的にモデル化していないため、事前モーションで制約することが困難です。
私たちは、高速で運動フィールドの時空間相関を活用できる因数分解された 4D 表現として明示的な運動モデルを設計します。
次に、カメラ全体の疎なフロー事前分布とカメラ内の密なフロー事前分布の組み合わせを含む信頼性の高いフロー事前分布を導入して、動きモデルを正規化します。
私たちのモデルは高速かつコンパクトで、まばらな入力視点を持つ一般的なマルチビューの動的シーン データセットで非常に優れたパフォーマンスを実現します。
私たちのモデルのソース コードは、プロジェクト ページ https://nagabhushansn95.github.io/publications/2024/RF-DeRF.html にあります。

要約(オリジナル)

Designing a 3D representation of a dynamic scene for fast optimization and rendering is a challenging task. While recent explicit representations enable fast learning and rendering of dynamic radiance fields, they require a dense set of input viewpoints. In this work, we focus on learning a fast representation for dynamic radiance fields with sparse input viewpoints. However, the optimization with sparse input is under-constrained and necessitates the use of motion priors to constrain the learning. Existing fast dynamic scene models do not explicitly model the motion, making them difficult to be constrained with motion priors. We design an explicit motion model as a factorized 4D representation that is fast and can exploit the spatio-temporal correlation of the motion field. We then introduce reliable flow priors including a combination of sparse flow priors across cameras and dense flow priors within cameras to regularize our motion model. Our model is fast, compact and achieves very good performance on popular multi-view dynamic scene datasets with sparse input viewpoints. The source code for our model can be found on our project page: https://nagabhushansn95.github.io/publications/2024/RF-DeRF.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google