FWD: Real-time Novel View Synthesis with Forward Warping and Depth

要約

新規視点合成（NVS）は、新しい視点からシーンのフォトリアリスティックな画像を生成するシステムを必要とする困難なタスクであり、アプリケーションにとって品質と速度の両方が重要である。従来の画像ベースレンダリング（IBR）手法は、高速である反面、入力ビューが疎である場合には品質が低下する。また、近年のNeural Radiance Fields (NeRF)とその一般化したものは、印象的な結果を与えるが、実時間性はない。本論文では、FWDと呼ばれるスパース入力の一般化可能なNVS法を提案し、リアルタイムで高品質な合成を実現する。FWDは、明示的な深度と微分可能なレンダリングにより、SOTA法に匹敵する130-1000倍の高速化と優れた知覚品質を達成する。また、深度センサがあれば、学習時や推論時にセンサの深度をシームレスに統合し、リアルタイム性を維持したまま画像品質を向上させることができる。深度センサの普及に伴い、深度を利用した手法がますます有用になることを期待する。

要約(オリジナル)

Novel view synthesis (NVS) is a challenging task requiring systems to generate photorealistic images of scenes from new viewpoints, where both quality and speed are important for applications. Previous image-based rendering (IBR) methods are fast, but have poor quality when input views are sparse. Recent Neural Radiance Fields (NeRF) and generalizable variants give impressive results but are not real-time. In our paper, we propose a generalizable NVS method with sparse inputs, called FWD, which gives high-quality synthesis in real-time. With explicit depth and differentiable rendering, it achieves competitive results to the SOTA methods with 130-1000x speedup and better perceptual quality. If available, we can seamlessly integrate sensor depth during either training or inference to improve image quality while retaining real-time speed. With the growing prevalence of depths sensors, we hope that methods making use of depth will become increasingly useful.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL