Fast View Synthesis of Casual Videos

要約

シーンダイナミクスや視差の欠如といった課題があるため、野生の映像から新しいビューを合成することは難しい。既存の手法は暗黙的な神経輝度場を用いて有望な結果を示しているが、学習とレンダリングに時間がかかる。本稿では、単眼映像から高品質な新規ビューを効率的に合成するために、明示的な映像表現を再検討する。静的映像コンテンツと動的映像コンテンツを別々に扱う。具体的には、拡張された平面ベースのシーン表現を用いて、グローバルな静的シーンモデルを構築し、時間的にコヒーレントな新規映像を合成する。我々の平面ベースのシーン表現は、ビュー依存の効果を捕捉し、非平面的な複雑な表面形状をモデル化するために、球面調和と変位マップで補強される。我々は効率化のために、動的コンテンツをフレームごとの点群として表現することを選択する。このような表現は不整合を起こしやすいが、わずかな時間的不整合は動きのために知覚的に隠蔽される。我々は、このようなハイブリッド映像表現を素早く推定し、新しいビューをリアルタイムでレンダリングする方法を開発する。我々の実験によれば、我々の手法は、学習が100倍速く、リアルタイムレンダリングが可能でありながら、最新の手法に匹敵する品質で、実映像から高品質な新規ビューをレンダリングできる。

要約(オリジナル)

Novel view synthesis from an in-the-wild video is difficult due to challenges like scene dynamics and lack of parallax. While existing methods have shown promising results with implicit neural radiance fields, they are slow to train and render. This paper revisits explicit video representations to synthesize high-quality novel views from a monocular video efficiently. We treat static and dynamic video content separately. Specifically, we build a global static scene model using an extended plane-based scene representation to synthesize temporally coherent novel video. Our plane-based scene representation is augmented with spherical harmonics and displacement maps to capture view-dependent effects and model non-planar complex surface geometry. We opt to represent the dynamic content as per-frame point clouds for efficiency. While such representations are inconsistency-prone, minor temporal inconsistencies are perceptually masked due to motion. We develop a method to quickly estimate such a hybrid video representation and render novel views in real time. Our experiments show that our method can render high-quality novel views from an in-the-wild video with comparable quality to state-of-the-art methods while being 100x faster in training and enabling real-time rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL