FWD: Real-time Novel View Synthesis with Forward Warping and Depth

要約

新規ビュー合成（NVS）は、品質と速度の両方がアプリケーションにとって重要である新しい視点からシーンの写実的な画像を生成するシステムを必要とする困難なタスクです。
以前の画像ベースのレンダリング（IBR）メソッドは高速ですが、入力ビューがまばらな場合は品質が低下します。
最近のニューラルラディアンスフィールド（NeRF）と一般化可能なバリアントは印象的な結果をもたらしますが、リアルタイムではありません。
本論文では、FWDと呼ばれるスパース入力を用いた一般化可能なNVS法を提案します。これにより、リアルタイムで高品質の合成が可能になります。
明確な深さと差別化可能なレンダリングにより、130〜1000倍のスピードアップとより優れた知覚品質でSOTAメソッドに匹敵する結果を達成します。
可能な場合は、トレーニング中または推論中にセンサー深度をシームレスに統合して、リアルタイムの速度を維持しながら画質を向上させることができます。
深度センサーの普及に伴い、深度を利用した手法がますます有用になることを期待しています。

要約(オリジナル)

Novel view synthesis (NVS) is a challenging task requiring systems to generate photorealistic images of scenes from new viewpoints, where both quality and speed are important for applications. Previous image-based rendering (IBR) methods are fast, but have poor quality when input views are sparse. Recent Neural Radiance Fields (NeRF) and generalizable variants give impressive results but are not real-time. In our paper, we propose a generalizable NVS method with sparse inputs, called FWD, which gives high-quality synthesis in real-time. With explicit depth and differentiable rendering, it achieves competitive results to the SOTA methods with 130-1000x speedup and better perceptual quality. If available, we can seamlessly integrate sensor depth during either training or inference to improve image quality while retaining real-time speed. With the growing prevalence of depths sensors, we hope that methods making use of depth will become increasingly useful.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google