Enhancement of Novel View Synthesis Using Omnidirectional Image Completion

要約

本研究では、ニューロ・ラディアンス・フィールド（NeRF）に基づき、1枚の360度RGB-D画像から新たなビューを合成する手法を提案する。先行研究では、多層パーセプトロンの近傍補間機能に依存して、オクルージョンやズームによって生じる欠落領域を補完していたが、これはアーチファクトを引き起こす。本研究で提案する手法では、入力画像を他のカメラ位置の360度RGB画像に再投影し、再投影画像の欠損領域を2次元画像生成モデルによって補完し、補完された画像をNeRFの学習に利用する。複数の補完画像には3次元的な不整合が含まれるため、補完領域の重複が少なく、対象シーンをカバーする補完画像の部分集合を用いてNeRFモデルを学習する手法を紹介する。このような画像部分集合の選択は、シミュレーテッドアニーリングによって解かれる最大重み独立集合問題に帰着する。実験により、提案手法が、人工データと実世界データの両方に対して、シーンの特徴を保持しつつ、もっともらしい新規ビューを合成できることが示された。

要約(オリジナル)

In this study, we present a method for synthesizing novel views from a single 360-degree RGB-D image based on the neural radiance field (NeRF) . Prior studies relied on the neighborhood interpolation capability of multi-layer perceptrons to complete missing regions caused by occlusion and zooming, which leads to artifacts. In the method proposed in this study, the input image is reprojected to 360-degree RGB images at other camera positions, the missing regions of the reprojected images are completed by a 2D image generative model, and the completed images are utilized to train the NeRF. Because multiple completed images contain inconsistencies in 3D, we introduce a method to learn the NeRF model using a subset of completed images that cover the target scene with less overlap of completed regions. The selection of such a subset of images can be attributed to the maximum weight independent set problem, which is solved through simulated annealing. Experiments demonstrated that the proposed method can synthesize plausible novel views while preserving the features of the scene for both artificial and real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL