A Portable Multiscopic Camera for Novel View and Time Synthesis in Dynamic Scenes

要約

ダイナミックなシーンでの斬新なビューと時間合成のための専用モデルを備えたポータブルマルチスコピックカメラシステムを紹介します。
私たちの目標は、ポータブル多眼カメラを使用して、いつでも、どの視点からでもダイナミックなシーンの高品質の画像をレンダリングすることです。
このような新しいビューと時間合成を実現するために、動的シーンの時間ドメインと空間ドメインの両方で神経放射輝度場 (NeRF) をトレーニングするために、5 台のカメラを搭載した物理多眼カメラを開発します。
私たちのモデルは、6D 座標 (3D 空間位置、1D 時間座標、および 2D ビュー方向) を、ビューに依存し、時間によって変化する放射輝度と体積密度にマッピングします。
ボリューム レンダリングを適用して、指定したカメラ ポーズと時間で写真のようにリアルなイメージをレンダリングします。
物理カメラの堅牢性を向上させるために、カメラパラメーター最適化モジュールと時間フレーム補間モジュールを提案して、時間の経過に伴う情報の伝播を促進します。
システムを評価するために、実世界と合成データセットの両方で実験を行い、結果は、私たちのアプローチが代替ソリューションよりも質的および量的に優れていることを示しています。
私たちのコードとデータセットは、https://yuenfuilau.github.io で入手できます。

要約(オリジナル)

We present a portable multiscopic camera system with a dedicated model for novel view and time synthesis in dynamic scenes. Our goal is to render high-quality images for a dynamic scene from any viewpoint at any time using our portable multiscopic camera. To achieve such novel view and time synthesis, we develop a physical multiscopic camera equipped with five cameras to train a neural radiance field (NeRF) in both time and spatial domains for dynamic scenes. Our model maps a 6D coordinate (3D spatial position, 1D temporal coordinate, and 2D viewing direction) to view-dependent and time-varying emitted radiance and volume density. Volume rendering is applied to render a photo-realistic image at a specified camera pose and time. To improve the robustness of our physical camera, we propose a camera parameter optimization module and a temporal frame interpolation module to promote information propagation across time. We conduct experiments on both real-world and synthetic datasets to evaluate our system, and the results show that our approach outperforms alternative solutions qualitatively and quantitatively. Our code and dataset are available at https://yuenfuilau.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google